python写的一个squid访问日志分析的小程序

首页 > 脚本专栏 > python 更新日期: 2015-08-17
这篇文章主要介绍了python写的一个分析squid访问日志的小程序,本文实现的目标是统计access.log中的ip数目,需要的朋友可以参考下

这两周组里面几位想学习python,于是我们就创建了一个这样的环境和氛围来给大家学习。

昨天在群里,贴了一个需求,就是统计squid访问日志中ip 访问数和url的访问数并排序,不少同学都大体实现了相应的功能,我把我简单实现的贴出来,欢迎拍砖:

日志格式如下:

代码如下:

%ts.%03tu %6tr %{X-Forwarded-For}>h %Ss/%03Hs %<st %rm %ru  %un %Sh/%<A %mt "%{Referer}>h" "%{User-Agent}>h" %{Cookie}>h

代码如下:

1372776321.285      0 100.64.19.225 TCP_HIT/200 8560 GET http://img1.jb51.net/games/0908/19/1549401_3_80x100.jpg  - NONE/- image/jpeg "http://www.jb51.net/" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; QQDownload 734; .NET4.0C; .NET CLR 2.0.50727)" pcsuv=0;%20pcuvdata=lastAccessTime=1372776317582;%20u4ad=33480hn;%20c=14arynt;%20uf=1372776310453

代码如下:

#!/usr/bin/python
# -*- coding: utf-8 -*-
import sys
from optparse import OptionParser
'''
    仅仅是一个关于日志文件的测试,统计处access.log 的ip数目
'''
try:
    f = open('/data/proclog/log/squid/access.log')
except IOError,e:
    print "can't open the file:%s" %(e)
 
def log_report(field):
    '''
        return the field of the access log
    '''
    if field == "ip":
        return  [line.split()[2] for line in f]
    if field == "url":
        return  [line.split()[6] for line in f]
def log_count(field):
    '''
        return a dict of like {field:number}
    '''
    fields2 = {}
    fields = log_report(field)
    for field_tmp in fields:
        if field_tmp in fields2:
            fields2[field_tmp] += 1
        else:
            fields2[field_tmp] = 1
    return fields2
def log_sort(field,number = 10 ,reverse = True):
    '''
        print the sorted fields to output
    '''
    for v in sorted(log_count(field).iteritems(),key = lambda x:x[1] , reverse = reverse )[0:int(number)]:
        print v[1],v[0]
if __name__ == "__main__":
    parser =OptionParser(usage="%prog [-i|-u] [-n num | -r]" ,version = "1.0")
    parser.add_option('-n','--number',dest="number",type=int,default=10,help=" print top line of the ouput")
    parser.add_option('-i','--ip',dest="ip",action = "store_true",help="print ip information of access log")
    parser.add_option('-u','--url',dest="url",action = "store_true",help="print url information of access log")
    parser.add_option('-r','--reverse',action = "store_true",dest="reverse",help="reverse output ")
    (options,args) = parser.parse_args()
 
    if len(sys.argv) < 2:
        parser.print_help()
    if options.ip and options.url:
         parser.error(' -i and -u  can not be execute at the same time ')
    if options.ip :
        log_sort("ip", options.number , True and options.reverse  or False)
    if options.url:
        log_sort("url", options.number , True and  options.reverse or False)
 
    f.close()

效果如下:

python写的一个squid访问日志分析的小程序

python写的一个squid访问日志分析的小程序


> 本站内容系网友提交或本网编辑转载,其目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请及时与本网联系,我们将在第一时间删除内容!

相关文章
  • Python写的一个简单监控系统
    Python写的一个简单监控系统
    这篇文章主要介绍了Python写的一个简单监控系统,本文讲解了详细的编码步骤,并给给出相应的实现代码,需要的朋友可以参考下市面上有很多开源的监控系统:Cacti.nagios.zabbix.感觉都不符合我的需求,为什么不自己做一个呢 用Python两个小时徒手撸了一个简易的监控系统,给大家分享一下,希望能对大家有所启发 首先数据库建表 建立一个数据库&quo ...
  • python写的一个文本编辑器
    这篇文章主要介绍了python写的一个文本编辑器,大家参考使用吧 代码如下:#!/usr/bin/env python#-*- coding: utf-8 -*-#=============================================================================#     FileName:#      ...
  • 用python写的一个wordpress的采集程序
    用python写的一个wordpress的采集程序
    在学习python的过程中,经过不断的尝试及努力,终于完成了第一个像样的python程序,虽然还有很多需要优化的地方,但是目前基本上实现了我所要求的功能,需要的朋友可以参考下在学习python的过程中,经过不断的尝试及努力,终于完成了第一个像样的python程序,虽然还有很多需要优化的地方,但是目前基本上实现了我所要求的功能,先贴一下程序代码: 具体代码如下 ...
  • Python实现的一个找零钱的小程序代码分享
    这篇文章主要介绍了Python实现的一个找零钱的小程序代码分享,本文中可以区分出应该找零多少元.多少角,需要的朋友可以参考下Python写的一个按面值找零钱的程序,按照我们正常的思维逻辑从大面值到小面值的找零方法,人民币面值有100元,50元,20元,10元,5元,1元,5角,1角,而程序也相应的设置了这些面值.只需要调用函数时传入您想要找零的金额,程序会自 ...
  • shell脚本实现的网站日志分析统计可以统计9种数据
    这篇文章主要介绍了shell脚本实现的网站日志分析统计,可以统计9种数据,如访问量.带宽.访客量.IP统计.搜索引擎等,需要的朋友可以参考下写了个shell脚本,可以用来统计每天的访问日志,并发送到电子邮箱,方便每天了解网站情况.脚本统计了:1.总访问量2.总带宽3.独立访客量4.访问IP统计5.访问url统计6.来源统计7.404统计8.搜索引擎访问统计( ...
猜你喜欢