使用fiddler抓取微信公众号文章的阅读数、点赞数、评论数

1 设置fiddler支持https

打开fiddler,在菜单栏中依次选择 [Tools]->[Options]->[HTTPS],勾上如下图的选项:

单击Actions,选择Export Root Certificate to Desktop(导出证书到桌面)选项:

安装证书:

在桌面上找到FiddlerRoot.cer文件,双击进行安装直到导入成功。

2 配置fiddler抓取规则

在菜单栏中依次选择 [Rules]->[Customize Rules] 弹出Fiddler ScriptEditor界面

找到OnBeforeRequest方法和OnBeforeResponse方法

修改OnBeforeRequest方法内容如下:

static function OnBeforeRequest(oSession: Session) {

//加在方法末尾
if (oSession.fullUrl.Contains("mp.weixin.qq.com"))
        {
            var fso;
            var file;
            fso = new ActiveXObject("Scripting.FileSystemObject");
            //文件保存路径,可自定义
            file = fso.OpenTextFile("c:\\Sessions.txt",8 ,true, true);
            file.writeLine("Request url: " + oSession.url);
            file.writeLine("Request header:" + "\n" + oSession.oRequest.headers);
            file.writeLine("Request body: " + oSession.GetRequestBodyAsString());
            file.writeLine("\n");
            file.close();
        }

    }

修改OnBeforeResponse方法内容如下:

static function OnBeforeResponse(oSession: Session) {

        //加在方法末尾
        if (oSession.HostnameIs("mp.weixin.qq.com") && oSession.uriContains("https://mp.weixin.qq.com/mp/getappmsgext")){
            var filename = "C:/fiddler-token.log";
            var curDate = new Date();
            var logContent =  "[" + curDate.toLocaleString() + "] " + oSession.PathAndQuery + "\r\n"+oSession.GetResponseBodyAsString()+"\r\n";
            var sw : System.IO.StreamWriter;
            if (System.IO.File.Exists(filename)){
                sw = System.IO.File.AppendText(filename);
                sw.Write(logContent);
            }
            else{
                sw = System.IO.File.CreateText(filename);
                sw.Write(logContent);
            }
            sw.Close();
            sw.Dispose();
        }
}

修改后保存文件。

3 抓取微信公众号文章阅读数、点赞数、评论数。

打开fiddler,打开微信PC客户端,登录微信账号进入客户端,订阅号里点击一篇文章。

fiddler左侧页面里面找到URL显示为/mp/getappmsgext...这一行,单击可看到如下内容:

找到本地log日志:C:/fiddler-token.log打开,内容如下:

[2018年9月14日 19:48:39] /mp/getappmsgext?f=json&mock=&uin=MjE1NjA1NjY0MA%253D%253D&key=4f0ee914ced5da58219044ef4af06a380d5764b71d2c36d0ecf3daa945ff76fecd582d1db95d3d8afe53d5c873e5afcc19ee88aac84d2e42074513a7020d13d351a7fc3fda74fb42920dfbd8674f38fc&pass_ticket=4LNlaufuIWu0x5ZF0Nf2q7%25252BHzHQd6yuWJmeB5q1qBVJvOYFARL4Hu%25252B1hvXa%25252Bgz1k&wxtoken=777&devicetype=Windows%26nbsp%3B7&clientversion=6206034e&appmsg_token=974_QWX6R9iNL8B3cm3q0XALp43vN0BvLLbR5Zmv0wrV91f2e9cawK85Z9tOo3vgr-AI_4gENldeLGOzsOSG&x5=0&f=json
{"advertisement_num":0,"advertisement_info":[],"appmsgstat":{"show":true,"is_login":true,"liked":false,"read_num":100001,"like_num":453,"ret":0,"real_read_num":0},"comment_enabled":1,"reward_head_imgs":[],"only_fans_can_comment":false,"comment_count":373,"is_fans":1,"nick_name":"ycyzharry","logo_url":"http:\/\/wx.qlogo.cn\/mmopen\/pdCPMyNrF2ibw23saAW8gyrNhiaibHE9sia3jexyjuvRGLl8OqroTy0hcRickicby6Oq14F47GBEuDdiax2gkxs8IUCYh7yOdmaeJXb\/132","friend_comment_enabled":0,"base_resp":{"wxtoken":777}}

4 设置fiddler抓取过滤

在fiddler右侧界面分页栏中选择 [Filters] 设置内容如下

这样fiddler只会抓取和微信相关的请求响应。

原文地址:https://www.cnblogs.com/ycyzharry/p/9648921.html

时间: 2024-12-29 07:25:45

使用fiddler抓取微信公众号文章的阅读数、点赞数、评论数的相关文章

Python 抓取微信公众号账号信息

搜狗微信搜索提供两种类型的关键词搜索,一种是搜索公众号文章内容,另一种是直接搜索微信公众号.通过微信公众号搜索可以获取公众号的基本信息及最近发布的10条文章,今天来抓取一下微信公众号的账号信息( 爬虫 首先通过首页进入,可以按照类别抓取,通过"查看更多"可以找出页面链接规则: import requests as req import re reTypes = r'id="pc_\d*" uigs="(pc_\d*)">([\s\S]*?)

微信PK10平台开发与用python爬取微信公众号文章

本文通过微信提供微信PK10平台开发[q-21528-76294] 网址diguaym.com 的公众号文章调用接口,实现爬取公众号文章的功能.注意事项 1.需要安装python selenium模块包,通过selenium中的webdriver驱动浏览器获取Cookie的方法.来达到登录的效果: 2.使用webdriver功能需要安装对应浏览器的驱动插件,我这里测试用的是谷歌浏览器: google chrome版本为52.0.2743.6 ; chromedriver版本为:V2.23 注意:

python 多线程方法爬取微信公众号文章

本文在上一篇基础上增加多线程处理(http://blog.51cto.com/superleedo/2124494  ) 执行思路: 1,规划好执行流程,建立两个执行线程,一个控制线程 2,线程1用于获取url,并写入urlqueue队列 3,线程2,通过线程1的url获取文章内容,并保存到本地文件中 4,线程3用于控制程序,保证1,2线程都执行完后退出 5,多线程退出程序,在子线程设置daemon为true,保证程序正常退出 6,添加异常处理,添加限时防止屏蔽 闲话不多说,上代码 #!/usr

Fiddler微信公众号列表、浏览/查看量、评论数据抓取

按之前的文章我们已经可以获取app及网页的https/http请求的json数据: https://www.cnblogs.com/i-love-python/p/11505669.html 在此基础上可对微信公众号文章数据进行抓取. 包括列表.浏览查看量.评论数据. 列表数据: 列表数据获取 列表为每个公众号历史数据入口,如图红框中的2部分. 列表数据可通过Fiddler在微信PC客户端获取,获取的数据是json数据里面包含了文章标题,发布时间等信息. 这个列表信息是一个类似下面url的GET

Python爬虫实现的微信公众号文章下载器

平时爱逛知乎,收藏了不少别人推荐的数据分析.机器学习相关的微信公众号(这里就不列举了,以免硬广嫌疑).但是在手机微信上一页页的翻阅历史文章浏览,很不方便,电脑端微信也不方便. 所以我就想有什么方法能否将这些公众号文章下载下来.这样的话,看起来也方便.但是网上的方法要么太复杂(对于我这个爬虫入门新手来说),要么付费. 但我的需求其实却很简单--"方便的查找 / 检索 / 浏览相关公众号的任意文章",所以,一番学习检索后,上手做了一个小工具(打包成可执行文件了),虽然方法和代码相当简单,但

微信公众号文章抓去

微信公众号存在不少精彩的文章,如果善于挖掘,可以得到不少的收获.但由于微信对PC端的支持并不友好,虽然有搜狗搜索可以用,但其结果仍然不全,一些公众号发的不是文章类型的只是一段话,搜狗就不收录.想要得到一个账号所有的文章,还是要从爬虫着手.网上对于微信公众号文章爬取的方法几乎没有介绍,不过有几个网站,比如传送门就做出来了.这就告诉我们这个目标是可以达到的.废话不多说,直入主题. 要想得到一个公众号发送的所有文章,需要从微信手机端入手.点击公众号右上角小人图标,会有查看历史消息的链接.点了之后可查看

微信公众号文章采集器

今天讨教大叔给大家聊聊什么是微信公众号文章采集器?微信公众号文章采集器的用处在哪里? 首先简单的介绍下微信公众号文章采集器:它是由讨教平台开发,专门服务于中小型互联网企业的一款内容价值输出系统.帮助中小型企业在文章发布,内容输出,大量提高了员工工作效率的以及企业的运营成本. 在采集系统中,我们可以把所有的微信公众号,只需要你手动输入 你想采集公众号的名称输入采集系统上,即可快速的帮助你完成此公众号的内容全部采集.采集过来的文章,您可以选择修改标题和内容,以及过滤掉垃圾文章. 我们讨教平台测试过:

微信公众号文章也可以添加音乐 不用因无法添加背景音乐代码而烦恼了

之前我们有聊过用代码添加图文消息背景音乐,微信可能考虑安全问题一段时间后代码不能用了,现在好了,微信公众号文章也可以添加音乐了,直接在微信公众平台后台像添加图片一样直接就可以插入音乐,未经认证的公众号也可以使用这一功能. 微信公众号文章添加音乐具体的操作流程是: 运营者可以在编辑图文消息时,在正文中插入音乐;选取音乐时,支持根据歌名.作者进行搜索,并且可以试听音乐;完成后即可. 也许文字不能表达的,音乐,可以表达. 一首歌,也许是你的信仰,你的态度,你的心情,你的记忆…… 为了让这种表达和分享更

微信公众号文章终于聚合成信息流了

还是自己动手丰衣足食,爬了搜狗的信息,总算可以聚合微信公众号的文章内容了. 这下子一个号搞定500个最热门公众号文章,方便查阅. 接下来要去做的是信息优化. 预览版:订阅号热榜,wx_hot ======== 之前一直有声音称,微信公众号目前的模式,很不适合大量关注的用户查看每日更新的文章.所以造成了大量的公众号订阅号被折叠以后,鲜有人问津.一旦打开订阅号,会发现众多“…”标记的公众号,这些都是未读条数超过99条的账号. 面对折叠以后,造成阅读量下降,难道微信就任其发展不顾么? 事情显然是否定的