我写了个小程序拿了腾讯3000万QQ用户数据,出了一份很有趣的数据报告

两周前,做的一个项目需要模拟一批用户评价数据,如果想让数据看着真实点,那就得使用随机的用户昵称和头像啊。要是头像或者昵称全都差不多,那别人一看就看出来这是做的数据了。

于是乎我就写了个从我QQ空间开始的蜘蛛网式的爬虫程序,程序断断续续的运行了两周。总共爬到了腾讯3000万QQ数据,其中有300万包含用户(QQ号,昵称,空间名称,会员级别,头像,最新一条说说内容,最新说说的发表时间,空间简介,性别,生日,所在省份,城市,婚姻状况)的详细数据。

目前已经爬到我的第7圈好友(depth=7)3000万数据,目前的瓶颈在家里的网速和电脑的配置上。 最快的时候爬取速度达到一天500W新Q数据。

时间: 2024-08-24 07:07:04

我写了个小程序拿了腾讯3000万QQ用户数据,出了一份很有趣的数据报告的相关文章

windows上快速调用自己写的python小程序

windows平台上快速调用python程序 场景1:某云平台的账号/或密码比较长,一旦浏览器缓存失效,就要去邮件/文件查找,费时费力 场景2:由于某些场景,强制每N天更换密码.简单密码箱,密码保存,自动copy到粘贴板 场景3:python功能强大,写了个小程序,懒得python /dir/XXX.PY直接从window命令窗口调用python小工具 使用方法: ctrl+r 调出window命令窗口. 输入自定义命令如pwd 输入需要查找的账号/密码 即可自动copy到粘贴板待用,使用时ct

利用列表的知识写一个购物小程序

利用列表,写一个购物小程序,实现显示商品,显示余额,显示购物车的商品,可以随时退出. 1 product_list = [ 2 ('Mac', 9000), 3 ('Kindle', 800), 4 ('tesla', 900000), 5 ('python book', 105), 6 ('bike', 2000), 7 ] 8 9 saving = input('please input your money:') 10 shopping_car = [] 11 if saving.isdi

跨界!Omi 发布多端统一框架 Omip 打通小程序与 Web 腾讯开源 2月28日

https://mp.weixin.qq.com/s/z5qm-2bHk_BCJAwaodrMIg 跨界!Omi 发布多端统一框架 Omip 打通小程序与 Web 腾讯开源 2月28日 原文地址:https://www.cnblogs.com/yuanjiangw/p/10774063.html

手把手教你写一个RN小程序!

时间过得真快,眨眼已经快3年了! 1.我的第一个App 还记得我14年初写的第一个iOS小程序,当时是给别人写的一个单机的相册,也是我开发的第一个完整的app,虽然功能挺少,但是耐不住心中的激动啊,现在我开始学react native,那么现在对于react native也算是有所了解了,就用网上的接口开发一个小程序,现在带大家来写这个程序!接口是用看知乎的API,简简单单的只有get,可以从这里入门,也算是带大家入门吧,过后我会把源代码放在我的github上,前期项目肯定特别简陋,后面慢慢来优

js 利用throw 写的一个小程序

在下边的小程序中比较特殊的是使用isNaN()函数判断一个参数是不是数字, 1 <!DOCTYPE html> 2 <!DOCTYPE html> 3 <html> 4 <head> 5 <title></title> 6 7 <script type="text/javascript"> 8 function myFunction() { 9 10 var str = document.getElem

写一个可以在可口可乐上写日记的小程序

1.技术栈 1.小程序: 2.使用了有赞提供的UI库zan-ui 3.express+mongoose+nginx: 2.功能介绍 1.假设有一天你在广东的一间便利店里面品尝一瓶可口可乐,这时,你拿出了这个小程序"商品手账"扫描这瓶可乐的商品条码,然后写下一段留言. 2.时间一晃就到了几年后,这时你在在北京的一个咖啡厅品尝一瓶可口可乐,突然,你拿出了这个小程序"商品手账"扫描这瓶可乐的商品条码,看到了自己几年的留言,不禁感慨万千. 3.于此同时,世界各地的可乐上瘾者

asp写的微信小程序支付demo-服务器端是asp+mdb的

这个微信小程序支付demo代码是我用asp写的,微信小程序端加上服务器端用的asp和mdb数据库,下面是代码分享: <view class="container"> <view class='view'>订单说明:{{paydata.title}}</view> <view class='view inputview'> 支付金额:<input bindinput="bindKeyInput" type=&quo

微信小程序如何播放腾讯视频?

1.背景 因为当时需要做视频播放,后台存放视频文件又不现实.所以,做了一个能解析腾讯视频地址的并播放视频的小程序. 2.介绍 小程序里的解析腾讯视频地址的代码是参考了一个开源项目you-get写的,把里面的腾讯视频下载的python代码写成了JS代码. 3.腾讯视频ID从哪获取 1.一般播放一个腾讯视频的时候播放地址为https://v.qq.com/x/page/w0647n5294g.html..html到最后一个/之间的字符串即为腾讯视频id.如https://v.qq.com/x/pag

【小程序】微信小程序绑定企业微信后怎样获取到用户信息

一.获取access_token 1.https://qyapi.weixin.qq.com/cgi-bin/gettoken?corpid=ID&corpsecret=SECRECT Corpid和secrect是唯一的 access_token:有效期2小时 二.获取code 小程序调用wx.login获取临时登录凭证code,并回传到开发者服务器 三.获取用户id https://qyapi.weixin.qq.com/cgi-bin/miniprogram/jscode2session?