处理logs,进行分析web展示。

涉及:读取写入文件,将文件转为字典;将字典内容转为元组;将元组进行排序,lambda表达式,html知识。

python处理日志 打印ip出现前十名

第一段将ip以空格分割,\n结尾。默认为0,每次重复一个ip地址+1 放到字典里。

第二段将字典转为元组

第三段做了前十位排序。第二个数大于第一个数,就调换位置。

第四段做了一个排位的list计数。

第一段:将ip和存在多少ip数,访到一个集合中

第二段:定义一个标示数,把集合变为元组,并定义ip数为key,做倒序,循环一次标识数+=1

第一段:传入分析文件,空格划分,每重复一个值,+1,将字典变成元组返回。

第二段:冒泡排序,arr是ip地址。times 是想要多少个访问最多的ip地址。

第三段:将ip以及ip访问此数 写入html文件。

第四段:定义传参;定义传入的ip,以及此数;定义写入html的循环。

优化上一段代码。一共三个函数实现。

第一块:将ip和url进行分析。只有ip和url都重复 +1,用sorted替换掉了排序算法的代码,

定义了一个lambda表达式 将重复的值作为key,进行reverse反转。

第二块:将第一块的结果写入html文件。

第三块:定义了打开文件,以及写入的文件。执行这一块代码。

最后呈现效果:

时间: 2024-12-26 11:10:34

处理logs,进行分析web展示。的相关文章

今晚九点|如何使用 Python 分析 web 访问日志?

主题:如何使用 Python 分析 Web 访问日志 内容 Python 基础 字符串.字典.文件.时间 Web 访问日志 实战 提问 主讲师:KK 多语言混搭工程师,热爱开源技术,喜欢GET新技能,5年 PHP.Python 项目开发经验,带领团队完成多个中.小型项目开发,对安全.云等多个领域富有浓厚兴趣,擅长于 WEB 安全开发.性能优化.分布式应用开发&设计等多方面,做事认真负责,乐于分享技能,现任 51Reboot.com Python 实战班讲师 任何语言都有使用场景,只有合适和不合适

awk 分析web日志(页面执行时间)

shell脚本分析 nginx日志访问次数最多及最耗时的页面(慢查询) 当服务器压力比较大,跑起来很费力时候.我们经常做站点页面优化,会去查找那些页面访问次数比较多,而且比较费时. 找到那些访问次数高,并且比较耗时的地址,就行相关优化,会取得立竿见影的效果的. 下面是我在做优化时候,经常用到的一段shell 脚本. 这个也可以算是,统计web页面的slowpage 慢访问页面,象mysql slowquery . 以下是我的:nginx 配制 log_format main '$remote_a

shiny server SparkR web展示界面(一)

1. shiny server简介 shiny-server是一种可用把R 语言以web形式展示的服务,下面就讲讲如何在自己的服务器上构建Shiny Server.下一篇主要介绍如何集成sparkR后展示在web界面上 环境:ubuntu14.04 下载:shiny-server的地址 2. 安装步骤 2.1  安装libpng,x11相关支持包 由于ubuntu默认是不支持png 以及X11(redhat,centos也会有同样的问题) 所以安装R语言前需要安装libpng,x11相关包,命令

shiny server SparkR web展示界面(二)

1.  需要先在Mac OS中安装好R,Rstudio中,这个比较简单,掠过 2. 下载编译好的spark(spark-2.0.0-bin-hadoop2.6.tgz)可以在Spark官网下载到你所需要的版本 解压spark到指定目录 $ tar -zxvf spark-2.0.0-bin-hadoop2.6.tgz -C ~/ 我这里解压后spark的目录为(/Users/hduser/spark-2.0.0-bin-hadoop2.6) 3.  打开Rstudio,安装相关包 > insta

项目总结[2]_svg+ajax+webservice+pSpace sdk实现实时数据的web展示

1.使用svg实现组态画面和动态数据展示 通过js的定时器调用webservice方法获取数据后更新节点数据 /// <summary>启动定时刷新</summary> function Start() { InitSvgElement(); this.timer = setInterval("GetTagValues()", 1000); } /// <summary>启动定时刷新</summary> function Stop() {

Web性能API——帮你分析Web前端性能

前端性能统计必备api,有不知道的吗? 正文从这开始- 开发一个现代化的互联网网站是一项复杂的任务,需要各种职能的密切合作以应对用户日新月异的需求.其中,网页的性能直接决定了用户的体验,而随着新型客户端浏览设备的出现与网站功能的日益复杂化,对于性能的专注也达到了前所未有的高度. 传统的网站性能监测通常有以下几种方式: 借助传统的开发者工具查看网络请求,例如浏览器的F12工具.Fiddler.Charles等等.基本方式是通过追踪HTTP请求与响应的时间,以图形的方式列出所有资源的下载情况.这种方

MyEclipse 2014与jprofiler 的集成,用来分析web project的内存使用情况

今天去演示一个web系统,在演示的过程中,系统突然报500错误,登陆到服务器上发现cpu占用率到了103%,立马杀掉了进程然后重新启动,来完成演示的过程.演示结束后,立马开始内存泄露相关的工作来确保下次不会出现这种紧急情况.jprofiler是一个不错的内存检测软件.开发系统IDE用的是MyEclipse 2014,在我之前的blog中有介绍,在Ubuntu中怎么安装,这里就介绍一下集成jprofiler. 1.下载jprofiler,wget http://download-aws.ej-te

利用淘宝IP库分析web日志来源分布

web访问日志中含有来访IP,通过IP查看归属地,最后统计访问的区域分布,可细化到省.市 淘宝接口地址:http://ip.taobao.com/service/getIpInfo.php?ip=14.215.177.38,后面的IP按需修改 例如要查看14.215.177.38这个地址的相关信息,返回的信息如下: {"code":0,"data": {"country":"\u4e2d\u56fd", "count

Python分析web访问日志

通用日志格式127.0.0.1 - - [14/May/2017:12:45:29 +0800] "GET /index.html HTTP/1.1" 200 4286远程 - - 主机 IP 请求时间 时区 方法 资源 协议 状态码 发送字节 组合日志格式127.0.0.1 - - [14/May/2017:12:51:13 +0800] "GET /index.html HTTP/1.1" 200 4286 "http://127.0.0.1/&quo