爬虫技术:从sougou网站访问微信公众号的过程

一:分析过程:fidder + chrome开发者工具

1:输入nba跳转的页面,每页显示10条相关公众号的信息

2:分析网站得到每条标题的详情页链接地址在:

3,请求上图中的url,会返回一段js代码,js代码的作用是,构造一个的新的url,并对新的url进行了请求。

认真分析一下这段js代码,除了更换请求的url,还做了些什么。

<meta content="always" name="referrer">
<script>
    var url = ‘‘;
    url += ‘http://mp.w‘;
    url += ‘eixin.qq.co‘;
    url += ‘m/s?src=11&‘;
    url += ‘timestamp=1‘;
    url += ‘569657625&v‘;
    url += ‘er=1879&sig‘;
    url += ‘nature=EtbL‘;  每一个title的signature都不一样。
    url += ‘qcBn3zLfhrG‘;
    url += ‘-3E1bon8g8i‘;
    url += ‘tE*ZzQ-9aDa‘;
    url += ‘myXb5jH7M2ioQfn7GbekEK2cn2BCeNQZa1Pl70JDLMChQZBD-kJ-jwz-xf0M*VB4Hmak7IYa7qMsYp8wevg4x5VNGLt&new=1‘;
    url.replace("@", "");
    window.location.replace(url)
</script>

# 人为操作频繁都直接封ip?

原文地址:https://www.cnblogs.com/meloncodezhang/p/11603487.html

时间: 2024-11-05 21:55:33

爬虫技术:从sougou网站访问微信公众号的过程的相关文章

【个人测试公众号】微信公众号接入过程问题笔记

网站备案审核实在太慢了. 然后就用了以前申请的sina sae空间+域名 配置了微信公众号个人测试沙箱 第一步 :先进入微信测试公众号页面 然后是手机微信扫码授权后,就有如下界面 第二步 :配置接口信息 这一步可以参照微信接入说明 ,该页提供一个php的实例下载,很简单基本上修改一下自定义的TOKEN就好了,然后把验证页面放到自己的服务器上. 这里我提供我做的一个例子: 准备资源: 域名+空间(我的是sae空间+万网域名).仅作验证的php文件 域名指向的空间根目录我创建了一个index.php

我推荐阅读的微信公众号-IT类

微信,正深刻影响着我们的生活,每个使用微信的人,从微信这个窗口去了解这个世界. 微信公众号,微信生态圈是核心功能之一,每天都有大量的文章创作.传播.转发出来,海量的信息扑面而来,微信阅读成为微信使用者最重要的阅读方式. 另一方面,你有没有感觉有信息过载的焦虑,看到微信上大量的红色小点,强迫症者是不是有点抓狂,恨不能轻轻一刷,就全部消失. 总有人质疑这种浅阅读和碎片化阅读的方式,这种质疑从某种角度来说,就是抱残守缺,对纸质阅读的一种过分依恋.我以为电子阅读的时代已经全面开启,这是个大趋势,每个人都

微信公众号网页授权登录获取用户基本信息

发布时间:2018-10-24 技术:spring springboot,微信公众号 概述 微信公众号网页授权登录后微信获取用户基本信息,部署即可运行完整demo 详细 代码下载:http://www.demodashi.com/demo/14290.html 一.前言 (1)适合人群 1,JAVA服务端开发人员 2,初级人员开发人员 3,了解spring springboot + maven 3,了解公众号开发 (2)你需要准备什么? 1,积极主动学习 2,微信公众号开发基本流程 3,java

微信公众号开启企业付款到用户

将网址https://pay.weixin.qq.com/index.php/extend/product/lists?tid=3 改为   https://pay.weixin.qq.com/index.php/public/product/detail?pid=5 就能访问微信公众号隐藏功能之企业付款到用户功能啦!

微信公众号之推送消息

首先进入网站: 微信公众号 2.输入账号密码(微信或QQ皆可) 没有注册的先注册,OK 注意一个问题,选好任意一种类型以后,不能修改,千万注意 3.群发功能以及推送完就行了.

总想自己动动手系列&#183;3&#183;如何让微信公众号和外网服务交互之通过TOKEN验证(准备篇&#183;1)

一.准备工作 (1)准备一个微信公众号(对私的订阅号或者对公的服务号). (2)准备一台部署了web应用,并且已经发布出去的Linux服务器(需要说明的是:微信公众号强烈建议使用80端口,使用其他自定义端口貌似根本不通,后面会有说明). 先科普说明一下: 1.微信公众号的注册分为2种类型,这个很简单,按照官方注册流程按部就班地填写基本不会出现问题. 2.刚注册的订阅号和公众号是"非认证"状态的(本人注册的是对私的订阅号,目前处于非认证状态). 3.微信官方将认证审核流程托管到了第三方机

微信公众号开发技术基础(二):外网映射工具ngrok的简介和使用

本文结构:(一)用法(二)示例(三)qydev ngrok的下载链接及相关网站 微信公众号开发的时候,微信服务器是需要访问我们的一个公网服务器地址的,但我们又是在本地调试自己的程序的,那怎样让微信服务器能访问到我们本地的服务器呢?那就需要用外网映射工具,将本地IP映射成公网IP,这样就能在公网上访问本地服务了,这里使用ngrok.ngrok原版程序的服务器是在国外的,访问速度极慢或者干脆访问不了,所以这里提供一个服务器搭建在国内的基于ngrok的一个软件:qydev,百度网盘下载链接见文章结尾.

[Python爬虫] 之十五:Selenium +phantomjs根据微信公众号抓取微信文章

借助搜索微信搜索引擎进行抓取 抓取过程 1.首先在搜狗的微信搜索页面测试一下,这样能够让我们的思路更加清晰 在搜索引擎上使用微信公众号英文名进行“搜公众号”操作(因为公众号英文名是公众号唯一的,而中文名可能会有重复,同时公众号名字一定要完全正确,不然可能搜到很多东西,这样我们可以减少数据的筛选工作, 只要找到这个唯一英文名对应的那条数据即可),即发送请求到'http://weixin.sogou.com/weixin?type=1&query=%s&ie=utf8&_sug_=n&

微信公众号 文章的爬虫系统

差不多俩个星期了吧,一直在调试关于微信公众号的文章爬虫系统,终于一切都好了,但是在这期间碰到了很多问题,今天就来回顾一下,总结一下,希望有用到的小伙伴可以学习学习. 1.做了俩次爬虫了,第一次怕的凤凰网,那个没有限制,随便爬,所以也就对自动化执行代码模块放松了警惕,觉得挺简单的,但是其实不是这样的,我被这个问题困扰了好几天,差不多4天的一个样子,因为搜狗做的限制,同一个ip获取的次数多了,首先是出现验证码,其次是就是访问限制了,直接就是不能访问,利用 request得到的就是访问次数过于频繁,这