用 Python 分析上网记录,发现了很多不可思议的事

摘要:分享个? Python 神工具。?

长时间使用浏览器会积累大量浏览器历史记录,这些是很隐私的数据,里面甚至可能有一些不可描述的网站或者搜索记录不想让别人知道。

不过,我们自己可能会感兴趣,天天上网是都在摸鱼还是有认真工作。其次,了解下自己每天打开多少次网页、哪些网站上的最多、常搜哪些关键词,这些也很有趣。

下面就来给大家介绍一款 Python 编写的神工具,可以一键分析你的上网行为。我用了后发现了很多不可思议的结论。

比如访问次数最多的网站居然是微信公众号,7000 多次,看来弄自媒体占了大量上网时间。

看到了每天打开网站的次数,平均都有好几百次,8 月 8 号那天发生了什么,竟打开了 1600 多次!

然后又统计了停留时间最长的网页页面,在 http://md.aclickall.com/?这个网站居然停留了 660 小时,这是个文章排版网站,因为经常要排版所以把该页面固定了起来。

然后统计出了搜索最多的十个关键词,Python 居然是第一位!前十中基本都是数据编程相关的,没想到自己这么爱学习。

最后统计出了各大搜索引擎的使用率。Google 的使用率达到了 97.3%,而百度只有不到 3%。

怎么样是不是挺有意思?下面就来说说怎么用这款工具,让你也可以分分钟了解自己的上网行为,非常简单。

这款 Python 工具其实就是分析浏览器的历史记录数据库文件然后可视化。这里的浏览器只支持 Chrome 和以 Chrome 为内核的浏览器,比如 Centbrower 、360极速浏览器等,其他浏览器比如 ie、Firefox 不支持。如果有登陆账号,桌面端和电脑端会一起分析,更全面。

第一步,打开网址:(网址在下方得到)

接着上传你的浏览器历史记录文件,这个历史记录文件怎么获得呢?

新建一个标签页,输入 chrome://version/ 回车,可以打开你的浏览器详细信息:

复制「个人资料路径」到资源管理器打开,然后找到 history 文件复制一份到桌面。

接着就在刚才的网站中上传该文件(我的文件有 15MB 大),稍等片刻就可以得到上门的那些可视化分析结果。

你可能会担心上传浏览器历史记录是否安全,尽管放心,这个程序是开源的。

下面再简单说下如何用 python 一步步实现的这个程序功能的,这是一个很棒的 python 练手项目,涉及到了前后端的知识,整个程序包含多个文件:

Code
├─ app_callback.py                          回调函数,实现后台功能
├─ app_configuration.py                     web服务器配置
├─ app_layout.py                            web前端页面配置
├─ app_plot.py                              web图表绘制
├─ app.py                                   web服务器的启动
├─ assets                                   web所需的一些静态资源文件
│  ├─ css                                   web前端元素布局文件
│  │  ├─ custum-styles_phyloapp.css
│  │  └─ stylesheet.css
│  ├─ image                                 web前端logo图标
│  │  ├─ GitHub-Mark-Light.png
│  └─ static                                web前端帮助页面
│  │  ├─ help.html
│  │  └─ help.md
├─ history_data.py                          解析chrome历史记录文件
└─ requirement.txt                          程序所需依赖库

每个程序实现的功能:

具体实现思路大致分为下面几点:

  • 解析历史记录文件数据

历史记录 history 是一个 sqllite 数据库文件,连接数据库查询然后调用数据库中的信息并存储。

  • 配置 web 服务器和前端页面
  • 可视化绘图函数

可视化图形使用的是可交互式的 plotly 库。

完整的程序可以在后台回复:上网分析 得到。

小结

上网记录是很重要的隐私数据,平常自己可能无法从中直接发现什么,使用 python 简单一分析就可以发现很多东西,所以平时尽量注重隐私保护。

完整程序和网站地址可以关注公众号:高级农民工,在后台回复:813 得到。

原文地址:https://www.cnblogs.com/suke1900/p/11343828.html

时间: 2024-08-30 14:03:03

用 Python 分析上网记录,发现了很多不可思议的事的相关文章

基于Python分析金庸小说里的主角,原来他才是真正的主角!

粉丝独白 说起武侠小说,不得不提中国武侠小说三大宗师--金庸.梁羽生.古龙,从上世纪七八十年代开始,大量的武侠经典出现在荧幕之中.三位大师的文字作品几乎都读过,在学习Python和数据分析后又发现了很多好玩的东西,今天就用数据分析来探索一下武侠小说. 要点: 谁是主角(金庸) 用词习惯(梁羽生) 一:谁是金庸小说的主角 天龙八部是一部多主角小说,萧峰.虚竹.段誉三兄弟各有际遇,曾经还因谁才是第一主角的问题引发过一阵争论. 现在我们已经懂得用数据思维来考虑问题,看看怎样对中文小说进行数据分析吧.出

Python分析盘点2019全球流行音乐:是哪些歌曲榜单占领了我们?

写在前面:圣诞刚过,弥留者节日气息的大家是否还在继续学习呐~在匆忙之际也不忘给自己找几首好听的歌曲放松一下,缠绕着音乐一起来看看关于2019年流行音乐趋势是如何用Python分析的吧! 昨天下午没事儿,随便听了下音乐,结果搜到了一份数据比较好玩,所以拿了来做个数据分享案例. 这份数据是由国外比较火的音乐软件spotify提供的,很有代表意义. 不过涉及到的指标都比较专业,我不是太懂,只能根据自己的理解去做分析,有懂音乐的朋友可以提出专业的看法. 这次的数据分析工具是Python,当然如果你Pyt

分享python分析wave, pcm音频文件

最近研究的,我用的是python3.3, 用matplotlib画图, 下面代码演示分析pcm文件,如果是wave文件,把wave的文件头去掉就是pcm文件了. 代码如下 1 # -*- coding:utf-8 -*- 2 3 import array 4 import os 5 from matplotlib import pyplot 6 7 fileName = 'e:/music/qianqian.pcm' # 2 channel, 16 bit per sample 8 file =

今晚九点|如何使用 Python 分析 web 访问日志?

主题:如何使用 Python 分析 Web 访问日志 内容 Python 基础 字符串.字典.文件.时间 Web 访问日志 实战 提问 主讲师:KK 多语言混搭工程师,热爱开源技术,喜欢GET新技能,5年 PHP.Python 项目开发经验,带领团队完成多个中.小型项目开发,对安全.云等多个领域富有浓厚兴趣,擅长于 WEB 安全开发.性能优化.分布式应用开发&设计等多方面,做事认真负责,乐于分享技能,现任 51Reboot.com Python 实战班讲师 任何语言都有使用场景,只有合适和不合适

办公室局域网监控员工上网记录合适吗?

办公室里黑压压的都是"埋头苦干"的员工们,在一阵阵键盘声的掩护下,办公室变成了一些员工的娱乐场.上班时间有人上网炒股票.听音乐. 买×××.打游戏.网购,更甚,还有浏览其它不良网站.视频的. 上班时,公司的×××群里讨论的都是工作的内容,这是老板看到的.而看不到的是,可能他们还有更多另外的群,在聊着其他有趣的事情.他们浪 费着本来就有些紧张的带宽和脑力资源,工作效率越来越低,原本一天就能完成的事,可能拖延三五天. 每个Boss都希望付给员工的每一份钱都产生价值,上班时间就做与工作相关的

基于100,000篇演讲的分析数据科学家发现了最佳演讲者的特征——及时解释听众不懂的词语,必要时提高10%的音调,正确和恰当的手势,氛围的营造

[TD精选] 基于100,000篇演讲的分析数据科学家发现了最佳演讲者的特征 相信大部分人一定试图寻找过使得自己的演讲变得更加吸引人,更加有气势的方法.现如今,在大数据工具和机器学习技术的辅助下,找到完美演讲的答案已经变得十分容易.Noah Zandan, CEO of Quantified Communications, 为人们提供了第一个能够分析,衡量,评估以及提高人们交流和演讲技巧的分析平台.Zandan 的数据团队分析了100,000多篇来自于企业家,政治家和演说家的演讲.他们将分析重点

python的工作记录A

马上进入工作自动化: [[email protected] ~]# cat svn_bbs.py import os,sys,commands,subprocess import re,time svnUrl = "svn://xxx" svnExportCmdPre = "svn export svn://xxx/" sitePath = "/xxx" updateFolder = "/srv/salt/xxx/" salt

python分析apahce网站日志的例子

有关python实现apahce网站日志分析的方法. 应用到:shell与python数据交互.数据抓取,编码转换 #coding:utf-8 #!/usr/bin/python'''程序说明:apache access.log日志分析 分析访问网站IP 来源情况 日期:2014-01-06 17:01 author:gyh9711 程序说明:应用到:shell与python数据交互.数据抓取,编码转换'''import osimport jsonimport httplibimport cod

Python常见问题解决记录1-Non-ASCII character '\xe7'错误

1.编译运行出现错误:SyntaxError: Non-ASCII character '\xe7' in file .. , but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details 问题原因:Python在默认状态下不支持源文件中的编码所致 解决办法:按照错误建议网址查看http://www.python.org/peps/pep-0263.html 1.文件头部添加如下注释码: # codi