django+pandas+matplotlib进行日志分析,画图,页面展示

首先装好环境。

Django的配置这里不再说了

看看日志格式,以及我们需要做什么,一条举例

218.104.141.167 - - [26/Jan/2014:06:46:30 +0800] "GET /main/index.php?cmd=CheckMob&Useage=REGIST&Mob=15377587416%20alt= HTTP/1.1" 200 55 "http://www.zhasini.ml/ddos.php?hm=15377587416&c=281
" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" 90021
175.41.23.251 - - [26/Jan/2014:06:46:31 +0800] "GET /main/index.php?cmd=CheckMob&Useage=REGIST&Mob=13276444989 HTTP/1.1" 200 55 "http://www.zhanimei.ga/mini/index.php?hm=13276444989&c=50689
" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2; Trident/4.0; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)" 65882

这里有2条日志,是我站点的日志,可以看见我需要统计我的站点到底是有多少数量是直接输入域名访问,多少是从其他地方referred过来,大概统计下。

如何统计我就不说了,直接上结果

d={‘1.htldxhzj.duapp.com‘: 9398,
 ‘gtxapi.cdn.duapp.com‘: 79496,
 ‘www.xxx.com‘: 2477070,
 ‘www.baidu.com‘: 1465,
 ‘www.bing.com‘: 777,
 ‘www.aaa.com‘: 1113101,
 ‘www.ccc.net.cn‘: 922,
 ‘www.zhanimei.ga‘: 29847,
 ‘www.zhanimei.ml‘: 40155,
 ‘www.zhasini.ml‘: 373436}

我只取了前几名,整理成了一个字典

开始作图

from pandas import Series,DataFrame
import matplotlib.pyplot as plt

plt.figure(figsize=(8,6), dpi=80)
ts = Series(d)
ts.plot(kind=‘barh‘)
plt.savefig(‘/var/www/jastme/static/images/log.png‘)

HTML里写入img调用,把上面的代码写进Django的视图里,当你访问页面的时候即可得到图片。

时间: 2024-11-05 22:51:03

django+pandas+matplotlib进行日志分析,画图,页面展示的相关文章

部署httpd日志分析系统

使用awstats部署日志分析系统,监控httpd服务的记录 控制访问日志分析系统的访问权限 当前环境为已经部署过httpd服务的CentOS6.5服务器 一,部署日志分析系统 1.当前已经下载好awstats-7.3的软件包 2.解压缩软件包并选择存放位置 3.给文件执行权限,否则无法执行,执行配置文件文件进行配置 4.按照提示输入httpd服务的配置文件绝对路径以及域名,按提示完成配置 5.修改生成的配置文件日志存放路径 6.配置计划任务定时执行更新并手动执行第一次更行 7.重启服务 8.访

部署Awstats日志分析系统

知识部分·什么是AWStats:AWStats分析系统是使用Perl语言开发的一款开源日志分析系统.可用于分析Apache.Samba.Vsftpd.IIS等服务的日志信息.也可以结合crond等计划任务,不断对增长的日志进行定期分析.操作步骤1.解压软件包,并将文件移动到/usr/local下2.为要统计的站点建立配置文件.首先切换到../awstats/tools下,授予awstats_configure.pl一个可执行的权限,然后执行该文件.3.在该位置添加apache的配置文件4.继续,

Apache配置与应用——AWStats日志分析系统(实战!)

AWStats日志分析系统 Perl语言开发的一款开源日志分析系统 可用来分析Apache,Samba,Vsftpd,IIS等服务器的访问日志 信息结合crond等计划任务服务,可对日志内容定期进行分析 环境 一台Linux服务主机(192.168.13.132) 一台win7测试pc机 1,yum安装http和bind服务 [[email protected] ~]# yum install httpd bind -y 2,配置DNS配置文件 [[email protected] ~]# vi

scrapydweb:实现 Scrapyd 服务器集群监控和交互,Scrapy 日志分析和可视化

功能特性 Scrapyd 服务器集群监控和交互 支持通过分组和过滤选中特定服务器节点 一次点击,批量执行 Scrapy 日志分析 统计信息展示 爬虫进度可视化 关键日志分类 支持所有 Scrapyd API Deploy project, Run Spider, Stop job List projects/versions/spiders/running_jobs Delete version/project GitHub scrapydweb 欢迎 Star 和提交 Issue 安装 通过

日志分析与splunk浅谈

难易程度:★★★ 阅读点:linux;python;web安全;日志分析; 文章作者:xiaoye 文章来源:i春秋 关键字:网络渗透技术 前言 linux下的日志分析对企业来说非常重要,对我们分析pv或者入侵事件溯源都有很大的价值,今天来简单谈一谈日志分析方向的利器splunk,splunk应该是站在日志分析应用的顶端了,应用广泛功能强大,本文只能简单说说其安装以及应用.p.s:本文环境是自己虚拟机搭建的,不是生产环境,仅仅做演示. 一.Nginx + uWSGI + Python + Dja

Python进阶(三十九)-数据可视化の使用matplotlib进行绘图分析数据

Python进阶(三十九)-数据可视化の使用matplotlib进行绘图分析数据 ??matplotlib 是python最著名的绘图库,它提供了一整套和matlab相似的命令API,十分适合交互式地进行制图.而且也可以方便地将它作为绘图控件,嵌入GUI应用程序中. ??它的文档相当完备,并且 Gallery页面 中有上百幅缩略图,打开之后都有源程序.因此如果你需要绘制某种类型的图,只需要在这个页面中浏览/复制/粘贴一下,基本上都能搞定. ??在Linux下比较著名的数据图工具还有gnuplot

使用python中的matplotlib进行绘图分析数据

http://blog.csdn.net/pipisorry/article/details/37742423 matplotlib 是python最著名的绘图库,它提供了一整套和matlab相似的命令API,十分适合交互式地进行制图.而且也可以方便地将它作为绘图控件,嵌入GUI应用程序中. 它的文档相当完备,并且 Gallery页面 中有上百幅缩略图,打开之后都有源程序.因此如果你需要绘制某种类型的图,只需要在这个页面中浏览/复制/粘贴一下,基本上都能搞定. 在Linux下比较著名的数据图工具

Django搭建及源码分析(三)---+uWSGI+nginx

每个框架或者应用都是为了解决某些问题才出现旦生的,没有一个事物是可以解决所有问题的.如果觉得某个框架或者应用使用很不方便,那么很有可能就是你没有将其使用到正确的地方,没有按开发者的设计初衷来使用它,当你将一个框架的优势使用到极致时一定是非常舒服和顺手的一件事.但同时也有可能衍生另一个问题,这个框架只解决了你的问题一,没有解决问题二.三等等,因此,就出现了多个框架/应用相结合的情况.比如Django + uWSGI + nginx. 本人初学python,找了一些实例进行了一些操作,以下纯属目前的

以慕课网日志分析为例 进入大数据 Spark SQL 的世界

详情请交流  QQ  709639943 01.以慕课网日志分析为例 进入大数据 Spark SQL 的世界 02.漫谈spring cloud分布式服务架构 03.Spring Cloud微服务实战视频课程 04.漫谈spring cloud 与 spring boot 基础架构 05.Java秒杀系统方案优化 高性能高并发实战 06.Java深入微服务原理改造房产销售平台 07.快速上手Linux 玩转典型应用 08.快速上手Ionic3 多平台开发企业级问答社区 09.Java Sprin