SuperWebClient -一个基于CURL的.NET HTTP/HTTPS模拟神组件（2）

今天我们讨论SuperWebClient组件使用中的几个简单主题

1: UserAgent
2: Cookies
3: POST登录

1:UserAgent
这个是客户端标识信息，此信息是用于鉴别正在访问WEB服务的客户端的类型，下面我们通过抓包工具Fiddler，来获取几个典型浏览器
的此项信息是怎么样的. Fiddler是一个.NET的开源HTTP/HTTPS协议分析软件，后来被收购后就没开源了好像。
Fiddler 下载地址 http://www.telerik.com/fiddler，运行后如下所示

首先我们打开IE浏览器-输入博客园网站，就会看到Fiddler抓到很多数据包，我们选取首页的那条就可以查看具体的http 请求信息

我们可以知晓IE浏览器的userAgent信息如下
User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET4.0C; .NET4.0E)
（机器上IE版本和安装的软件不一样，USER-AGENT也会有些许差异）
我们在看基于谷歌CHROME浏览器的类似下面
User-Agent: Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.48 Safari/537.36
还有众多猎豹，火狐，遨游和其它都有自己的一些附加信息在User-Agent中，那这个东西可能会有哪些用途了。
一般而言，WEB服务器并不看重这个信息，但有些也会检查，并根据不同的客户端给出适当的输出反馈，另外就是客户端JS脚本会根据
这个信息做些兼容性的检查和调整。
        对于爬虫比如百度，谷歌或其它都有自己独特的userAgent信息，SuperWebClient默认模拟的是IE浏览器的，当然，你完全可以设置
模拟任何信息，比如下面这样 SuperWebClient 应用代码示例如下
注意代码红色区域的部分，本来是作为后面的主题来讨论的，现在是为了演示如何用FIDDLER抓取到SuperWebClient的请求包才会提前标注下
默认是模拟的IE浏览器的，下面我修改这个User-Agent信息为 “i-love-you”

  1. // 首先构建一个 嗨 对象-也就是模拟访问的输入对象
  2. HttpInput hi = new HttpInput();
  3. // 需要初始化这个hi,设置是否启用HTTP 1.1，后面是连接和传输超时设定（秒）
  4. HttpManager.Instance.InitWebClient(hi, true, 60, 60);

复制代码

                  // 代理设置-不然FIDDLER是无法抓取到的
                            hi.EnableProxy = true;
                            hi.ProxyIP = "127.0.0.1";
                            hi.ProxyPort = 8888;

hi.UserAgent = "i-love-you";            
                         // 接下来就是设置访问的URL,和其它譬如UserAgent,Cookies,Proxy....等等各种特性的设置
                         // 一般，我们就设置Url 访问路径，其它都是在有需要的时候设置就可以了

    1. hi.Url = "http://www.cnblogs.com/";
    2. // 有输入对象，就有对应的输出对象-注意，这个方法是阻塞的，只到结果反馈回来
    3. // 所以，你可以把代码放入独立的线程或是线程池中进行数据的采集
    4. HttpOutput ho = HttpManager.Instance.ProcessRequest(hi);
    5. if (ho.IsOK)
    6. {
    7. // 如果HO的标志IsOK成立，则页面访问是成功的，否则就是页面访问失败
    8. // 遇到失败-你可以自己做后续处理，比如重发起请求或是写LOG
    9. richTextBox1.Text = ho.TxtData;
    10. }
    11. else
    12. {
    13. richTextBox1.Text = "页面访问错误";
    14. }
    15. // 最后销毁对象
    16. hi.Dispose();

你可以根据需要伪装成任何需要的，比如微信，陌陌啥的特有的信息。
2:Cookie
SuperWebClient 默认处理WEB服务器发送来的COOKIE,无需你自己大费脑筋，那从服务器发来的COOKIE信息怎么读取呢

HttpOutput ho = HttpManager.Instance.ProcessRequest(hi);
            if (ho.IsOK)
            {
                richTextBox2.Text = ho.Cookies;

                // 如果HO的标志IsOK成立，则页面访问是成功的，否则就是页面访问失败
                // 遇到失败-你可以自己做后续处理，比如重发起请求或是写LOG
                richTextBox1.Text = ho.TxtData;
            }

在输出对象的ho.Cookies属性里面哦。

比如访问C#蚁工窝 http://www.csharpworker.com/

拿到的cookies是
hTQ9_2132_pc_size_c=0;hTQ9_2132_onlineusernum=2;hTQ9_2132_lastact=1488261049%09forum.php%09;hTQ9_2132_sid=mRojS6;hTQ9_2132_lastvisit=1488257449;hTQ9_2132_saltkey=p7EgLlZg;
WEB服务器会在不同的请求多次发送不同的cookies, SuperWebClient的输出对象httpoutput只是当次请求时的服务器发送COOKIES信息，不会累计，虽然SuperWebClient内部会累计所有从服务器发送的COOKIE并在向服务器提交时一并回传回去，但是目前并没有提供读取所有累计COOKIE的方法，你可以自己收集每次请求的反馈对象httpoutput中的COOKIES信息，一般而言，我不怎么理会这个东西，除非你是要保存COOKIES另做它用。

3：POST登录
        一般情况下，如无意外，WEB服务的很多操作请求都是基于POST协议的，AJAX也是，极少是基于GET协议的,因为请求字符串是有长度限制的
大量的参数需要通过POST来发送，接下来，我们看看SuperWebClient如何通过POST方式来登录一个网站，在展示之前，我们有必要分析网站登录
的请求协议，然后使用SuperWebClient进行模拟。
我们就以登录博客园的过程来说明下，首先我们用Fiddler进行抓取博客园的登录协议，注意，如果你抓取不到博客园的登录协议，请看如下2个FIDDLER中针对的两个最常见的问题，因为博客园登录是采用的HTTPS，所以需要开启FIDDLER中相应的HTTPS解码选项。
点击FIDDLER菜单的 TOOL->TERERIK  FIDDLER OPTIONS

如果你遇到可以抓取，但是发现无法解码的情况，那就是你的证书问题，证书问题-可以参阅http://blog.csdn.net/chjqxxxx/article/details/53666175 这里-重新构建证书-问题就会解决

这里是博客园的登录协议

POST https://passport.cnblogs.com/user/signin HTTP/1.1
x-requested-with: XMLHttpRequest
Accept-Language: zh-cn
Referer: https://passport.cnblogs.com/user/signin?ReturnUrl=http%3A%2F%2Fwww.cnblogs.com%2F
Accept: application/json, text/javascript, */*; q=0.01
verificationtoken: _Q9B84azUZnUTIffmygxm8pONeAnXanp7gw7sqep3b3Lqk-opvj5wPgeAN6SM6lN1qFi6y8-36GAyjMDYYBuf_cy6iE1:fmSuVFj_iIGBnMV7N3TydHUuc8ORlIkNw7eSCsGqwV2BX7lM64bNoMV0X3S-t2-rlDcBpfuYnK3_In_fMNTFaPhE3Cw1
Content-Type: application/json; charset=utf-8
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET4.0C; .NET4.0E)
Host: passport.cnblogs.com
Content-Length: 386
Connection: Keep-Alive
Cache-Control: no-cache
Cookie: Hm_lvt_cc17b07fc9529e3d80b4482c9ce09086=1482645471; _ga=GA1.2.806287383.1482645352; __gads=ID=cde93307386572b7:T=1488262791:S=ALNI_MbB1oiDaPhuYt-REwWv3uYFQG8-AA; AspxAutoDetectCookieSupport=1; SERVERID=227b087667da6f8e99a1165002db93f6|1488285061|1488285061

{"input1":"a9Q+6M4EwC0HlHafyL8GYvd5zcFP+tUMV+F2P+aF0FdzrtY9nqPdkjCDctPQlY37EI/VzpLc9z+SAKXaWpWa0yDUM3USN+b7W+m6t7p8qRS+nuHu1G6wJ34IyuAruQ5gE3+r30PKy65q9dD0F5ruOSZizIYgCvm2/WrQfQsdYiQ=","input2":"fGOIEUEG5HP6tt3c/q9z0DuLyc9qeq0GiJQyTGNhTL/sCriRomR2G8gtn+AurDFzH/dDzMOYrBfEJ97n454gg8Ppd5cRe3qaNBTPebCJrIK3chv/Mupe+liFvEu6MwOgPqFBRm6GQCSZBHaVfRpHBKYrQkEaWRZ6ItSjKCBKpQc=","remember":false}

账号和密码都是经过加密处理的，至于加密过程，你需要仔细分析博客园的JS代码，这里我们仅仅是用来说明如何使用SuperWebClient进行
POST表单登录，所以对于账号，密码的加密分析略过，如果后面特别有空闲，我会补充一篇文章分析博客园的账号，密码加密，主要是对相关
JS代码的调试和分析。

那么使用 SuperWebClient如何进行博客园登录了。很简单。

HttpInput hi = new HttpInput();

            HttpManager.Instance.InitWebClient(hi, true, 60, 60);
            // 这里设置博客园登录URL
            hi.Url = "https://passport.cnblogs.com/user/signin";
            hi.Refer = "https://passport.cnblogs.com/user/signin?ReturnUrl=http%3A%2F%2Fwww.cnblogs.com%2F";
            // 我们伪造下来路，证明我们是从哪里来的，根据协议
            // POST数据

            hi.PostData = "input1=a9Q+6M4EwC0HlHafyL8GYvd5zcFP+tUMV+F2P+aF0FdzrtY9nqPdkjCDctPQlY37EI/Vzp"
            +"Lc9z+SAKXaWpWa0yDUM3USN+b7W+m6t7p8qRS+nuHu1G6wJ34IyuAruQ5gE3+r30PKy65q9dD0F5ruOSZizIYgCvm2/WrQfQsdYiQ="
            +"&input2=fGOIEUEG5HP6tt3c/q9z0DuLyc9qeq0GiJQyTGNhTL/sCriRomR2G8gtn+AurDFzH/dDzMOYrBfEJ97n454gg8Ppd5cRe3qa"
            +"NBTPebCJrIK3chv/Mupe+liFvEu6MwOgPqFBRm6GQCSZBHaVfRpHBKYrQkEaWRZ6ItSjKCBKpQc="
            +"&remember=false";

            HttpOutput ho = HttpManager.Instance.ProcessRequest(hi);
            if (ho.IsOK)
            {

                richTextBox1.Text = ho.TxtData;
            }
            else
            {
                richTextBox1.Text = "页面访问错误";
            }

            // 最后销毁对象
            hi.Dispose();

hi.PostData="设置POST表单数据"       格式是：   key1=value1&key2=value2.....依次若干

今天的主题分享完了，有了今天的一些东西，你已经能处理大部分的模拟请求，SuperWebClient的大部分功能也是围绕目前的GET,POST服务。

时间： 2024-10-11 17:35:24

SuperWebClient -一个基于CURL的.NET HTTP/HTTPS模拟神组件（2）的相关文章

手把手写一个基于Spring Boot框架下的参数校验组件

手把手写一个基于Spring Boot框架下的参数校验组件(JSR-303) 前言 之前参与的新开放平台研发的过程中,由于不同的接口需要对不同的入参进行校验,这就涉及到通用参数的校验封装,如果不进行封装,那么写出来的校验代码将会风格不统一.校验工具类不一致.维护风险高等其它因素,于是我对其公共的校验做了一个封装,达到了通过注解的方式即可实现参数统一校验. 遇到的问题                    在封装的时候就发现了一个问题,我们是开放平台,返回的报文都必须是统一风格,也就是类似于{co

手把手写一个基于Spring Boot框架下的参数校验组件（JSR-303）

前言 之前参与的新开放平台研发的过程中,由于不同的接口需要对不同的入参进行校验,这就涉及到通用参数的校验封装,如果不进行封装,那么写出来的校验代码将会风格不统一.校验工具类不一致.维护风险高等其它因素,于是我对其公共的校验做了一个封装,达到了通过注解的方式即可实现参数统一校验. 遇到的问题                     在封装的时候就发现了一个问题,我们是开放平台,返回的报文都必须是统一风格,也就是类似于{code:999,msg:"参数校验失败",data:null} 这种

GPUImage ==> 一个基于GPU图像和视频处理的开源iOS框架

Logo 项目介绍: GPUImage是Brad Larson在github托管的开源项目. GPUImage是一个基于GPU图像和视频处理的开源iOS框架,提供各种各样的图像处理滤镜,并且支持照相机和摄像机的实时滤镜: 基于GPU的图像加速,因此可以加速对实时摄像头视频.电影以及image的滤镜和其它效果处理,并且能够自定义图像滤镜.另外, GPUImage支持ARC. 使用GPUImage处理图片比Core Image更简单,只需要将过滤器赋给图片对象即可,不用考虑context或者设备等其

jWriter一个基于jQuery的阅读写作网站的效果库

看了一下据上次更新已经四个月了,时间过的好快.自从上次面试前端岗时js的能力遭到深深的鄙视后,就在补js的坑了.先是各种看书,接着是期末考试,然后家里有事又耽搁了.在此期间想把用来练手的网站的前端部分重构一下,于是手写了一些jQuery的效果,也就是jWriter了.话说扔了几个月又捡起来的结果就是,看书时都感觉清楚无比的方法什么的全部都忘了,三天不练手生,真理啊. jWriter,一个基于jQuery的阅读写作网站的效果库,用到了部分js原生代码不过都有注释.全部代码都没进行封装过,看起来可能

php之curl实现http与https请求的方法

本文实例讲述了php之curl实现http与https请求的方法,分享给大家供大家参考.具体如下: 通常来说,php的curl函数组可以帮助我们把机器伪装成人的行为来抓取网站,下面来分享两个例子,一个是访问http网页,一个访问https网页,一起来看一下. 每次要使用curl的时候,总要查一堆资料. 现在将常用的几句保存下来,省的每次都去谷歌. 常规curl请求: 复制代码 代码如下: $url = 'http://www.jb51.net'; $curl = curl_init(); cur

构建一个基于 Spring 的 RESTful Web Service

本文详细介绍了基于Spring创建一个“hello world” RESTful web service工程的步骤. 目标 构建一个service,接收如下HTTP GET请求: http://localhost:8080/greeting 并返回如下JSON格式的问候语: {"id":1,"content":"Hello, World!"} 你也可以通过指定查询字符串中的可选参数name来定制问候语: http://localhost:8080

Filter实现的一个基于url的图片处理插件

1. 它是什么?     这是一个非常简单的图片处理的插件,可快速集成在你的web应用中.基于http对图片进行缩略大小.质量压缩.旋转.转换扩展类型.添加水印等常用操作. 前台的图片尺寸发生变化的时候在前端修改url参数就好了,不用每次单独在后台去写一个尺寸常量,然后重新生成. 2. 如何使用?     预览缩略图         服务器有一个abc.png的图片大小为1024x800,现在想要300x230的比例图             http://host:port/upload/ab

基于curl的异步http实现

简述用于windows客户端的一个异步http模块的实现 1.需要实现的feature 1.1 很容易地发起异步http请求,然后回调. 1.2 能够管理http并发数. 1.3 能够支持http超时:不依赖于curl中实现的连接超时及其它超时. 1.4 请求可以取消. 2.参与者和简要分析: Manager:接收http请求,调用curl. Request:封装http请求. Response:封装http回应. 线程模型: 这里实现异步一般会开线程,假定有一个UI(主)线程,可能有这些模式:

psutil一个基于python的跨平台系统信息跟踪模块

受益于这个模块的帮助,在这里我推荐一手. https://pythonhosted.org/psutil/#processes psutil是一个基于python的跨平台系统信息监视模块.在python下,我们可以利用它来监视.检测和限制系统资源的使用.它提供了类似于一套控制台的指令功能,像是ps.netstat.ifconfig等等.当前这个模块支持的系统有windows/osx/linux/FreeBSD/Sun Solaris.32.64位均支持.python环境为2.6-3.5. 这里我