用C#实现网络爬虫(一)

网络爬虫在信息检索与处理中有很大的作用,是收集网络信息的重要工具。

接下来就介绍一下爬虫的简单实现。

爬虫的工作流程如下

爬虫自指定的URL地址开始下载网络资源,直到该地址和所有子地址的指定资源都下载完毕为止。

下面开始逐步分析爬虫的实现。

1. 待下载集合与已下载集合

为了保存需要下载的URL,同时防止重复下载,我们需要分别用了两个集合来存放将要下载的URL和已经下载的URL。

因为在保存URL的同时需要保存与URL相关的一些其他信息,如深度,所以这里我采用了Dictionary来存放这些URL。

具体类型是Dictionary<string, int> 其中string是Url字符串,int是该Url相对于基URL的深度。

每次开始时都检查未下载的集合,如果已经为空,说明已经下载完毕;如果还有URL,那么就取出第一个URL加入到已下载的集合中,并且下载这个URL的资源。

2. HTTP请求和响应

C#已经有封装好的HTTP请求和响应的类HttpWebRequest和HttpWebResponse,所以实现起来方便不少。

为了提高下载的效率,我们可以用多个请求并发的方式同时下载多个URL的资源,一种简单的做法是采用异步请求的方法。

控制并发的数量可以用如下方法实现

 1 private void DispatchWork()
 2 {
 3     if (_stop) //判断是否中止下载
 4     {
 5         return;
 6     }
 7     for (int i = 0; i < _reqCount; i++)
 8     {
 9         if (!_reqsBusy[i]) //判断此编号的工作实例是否空闲
10         {
11             RequestResource(i); //让此工作实例请求资源
12         }
13     }
14 }

由于没有显式开新线程,所以用一个工作实例来表示一个逻辑工作线程

1 private bool[] _reqsBusy = null; //每个元素代表一个工作实例是否正在工作
2 private int _reqCount = 4; //工作实例的数量

每次一个工作实例完成工作,相应的_reqsBusy就设为false,并调用DispatchWork,那么DispatchWork就能给空闲的实例分配新任务了。

接下来是发送请求

 1 private void RequestResource(int index)
 2  {
 3      int depth;
 4      string url = "";
 5      try
 6      {
 7          lock (_locker)
 8          {
 9              if (_urlsUnload.Count <= 0) //判断是否还有未下载的URL
10              {
11                  _workingSignals.FinishWorking(index); //设置工作实例的状态为Finished
12                  return;
13              }
14              _reqsBusy[index] = true;
15              _workingSignals.StartWorking(index); //设置工作状态为Working
16              depth = _urlsUnload.First().Value; //取出第一个未下载的URL
17              url = _urlsUnload.First().Key;
18              _urlsLoaded.Add(url, depth); //把该URL加入到已下载里
19              _urlsUnload.Remove(url); //把该URL从未下载中移除
20          }
21
22          HttpWebRequest req = (HttpWebRequest)WebRequest.Create(url);
23          req.Method = _method; //请求方法
24          req.Accept = _accept; //接受的内容
25          req.UserAgent = _userAgent; //用户代理
26          RequestState rs = new RequestState(req, url, depth, index); //回调方法的参数
27          var result = req.BeginGetResponse(new AsyncCallback(ReceivedResource), rs); //异步请求
28          ThreadPool.RegisterWaitForSingleObject(result.AsyncWaitHandle, //注册超时处理方法
29                  TimeoutCallback, rs, _maxTime, true);
30      }
31      catch (WebException we)
32      {
33          MessageBox.Show("RequestResource " + we.Message + url + we.Status);
34      }
35  }

第7行为了保证多个任务并发时的同步,加上了互斥锁。_locker是一个Object类型的成员变量。

第9行判断未下载集合是否为空,如果为空就把当前工作实例状态设为Finished;如果非空则设为Working并取出一个URL开始下载。当所有工作实例都为Finished的时候,说明下载已经完成。由于每次下载完一个URL后都调用DispatchWork,所以可能激活其他的Finished工作实例重新开始工作。

第26行的请求的额外信息在异步请求的回调方法作为参数传入,之后还会提到。

第27行开始异步请求,这里需要传入一个回调方法作为响应请求时的处理,同时传入回调方法的参数。

第28行给该异步请求注册一个超时处理方法TimeoutCallback,最大等待时间是_maxTime,且只处理一次超时,并传入请求的额外信息作为回调方法的参数。

RequestState的定义是

 1 class RequestState
 2 {
 3     private const int BUFFER_SIZE = 131072; //接收数据包的空间大小
 4     private byte[] _data = new byte[BUFFER_SIZE]; //接收数据包的buffer
 5     private StringBuilder _sb = new StringBuilder(); //存放所有接收到的字符
 6
 7     public HttpWebRequest Req { get; private set; } //请求
 8     public string Url { get; private set; } //请求的URL
 9     public int Depth { get; private set; } //此次请求的相对深度
10     public int Index { get; private set; } //工作实例的编号
11     public Stream ResStream { get; set; } //接收数据流
12     public StringBuilder Html
13     {
14         get
15         {
16             return _sb;
17         }
18     }
19
20     public byte[] Data
21     {
22         get
23         {
24             return _data;
25         }
26     }
27
28     public int BufferSize
29     {
30         get
31         {
32             return BUFFER_SIZE;
33         }
34     }
35
36     public RequestState(HttpWebRequest req, string url, int depth, int index)
37     {
38         Req = req;
39         Url = url;
40         Depth = depth;
41         Index = index;
42     }
43 } 

TimeoutCallback的定义是

 1 private void TimeoutCallback(object state, bool timedOut)
 2 {
 3     if (timedOut) //判断是否是超时
 4     {
 5         RequestState rs = state as RequestState;
 6         if (rs != null)
 7         {
 8             rs.Req.Abort(); //撤销请求
 9         }
10         _reqsBusy[rs.Index] = false; //重置工作状态
11         DispatchWork(); //分配新任务
12     }
13 }

接下来就是要处理请求的响应了

 1 private void ReceivedResource(IAsyncResult ar)
 2 {
 3     RequestState rs = (RequestState)ar.AsyncState; //得到请求时传入的参数
 4     HttpWebRequest req = rs.Req;
 5     string url = rs.Url;
 6     try
 7     {
 8         HttpWebResponse res = (HttpWebResponse)req.EndGetResponse(ar); //获取响应
 9         if (_stop) //判断是否中止下载
10         {
11             res.Close();
12             req.Abort();
13             return;
14         }
15         if (res != null && res.StatusCode == HttpStatusCode.OK) //判断是否成功获取响应
16         {
17             Stream resStream = res.GetResponseStream(); //得到资源流
18             rs.ResStream = resStream;
19             var result = resStream.BeginRead(rs.Data, 0, rs.BufferSize, //异步请求读取数据
20                 new AsyncCallback(ReceivedData), rs);
21         }
22         else //响应失败
23         {
24             res.Close();
25             rs.Req.Abort();
26             _reqsBusy[rs.Index] = false; //重置工作状态
27             DispatchWork(); //分配新任务
28         }
29     }
30     catch (WebException we)
31     {
32         MessageBox.Show("ReceivedResource " + we.Message + url + we.Status);
33     }
34 } 

第19行这里采用了异步的方法来读数据流是因为我们之前采用了异步的方式请求,不然的话不能够正常的接收数据。

该异步读取的方式是按包来读取的,所以一旦接收到一个包就会调用传入的回调方法ReceivedData,然后在该方法中处理收到的数据。

该方法同时传入了接收数据的空间rs.Data和空间的大小rs.BufferSize。

接下来是接收数据和处理

 1 private void ReceivedData(IAsyncResult ar)
 2 {
 3     RequestState rs = (RequestState)ar.AsyncState; //获取参数
 4     HttpWebRequest req = rs.Req;
 5     Stream resStream = rs.ResStream;
 6     string url = rs.Url;
 7     int depth = rs.Depth;
 8     string html = null;
 9     int index = rs.Index;
10     int read = 0;
11
12     try
13     {
14         read = resStream.EndRead(ar); //获得数据读取结果
15         if (_stop)//判断是否中止下载
16         {
17             rs.ResStream.Close();
18             req.Abort();
19             return;
20         }
21         if (read > 0)
22         {
23             MemoryStream ms = new MemoryStream(rs.Data, 0, read); //利用获得的数据创建内存流
24             StreamReader reader = new StreamReader(ms, _encoding);
25             string str = reader.ReadToEnd(); //读取所有字符
26             rs.Html.Append(str); // 添加到之前的末尾
27             var result = resStream.BeginRead(rs.Data, 0, rs.BufferSize, //再次异步请求读取数据
28                 new AsyncCallback(ReceivedData), rs);
29             return;
30         }
31         html = rs.Html.ToString();
32         SaveContents(html, url); //保存到本地
33         string[] links = GetLinks(html); //获取页面中的链接
34         AddUrls(links, depth + 1); //过滤链接并添加到未下载集合中
35
36         _reqsBusy[index] = false; //重置工作状态
37         DispatchWork(); //分配新任务
38     }
39     catch (WebException we)
40     {
41         MessageBox.Show("ReceivedData Web " + we.Message + url + we.Status);
42     }
43 } 

第14行获得了读取的数据大小read,如果read>0说明数据可能还没有读完,所以在27行继续请求读下一个数据包;

如果read<=0说明所有数据已经接收完毕,这时rs.Html中存放了完整的HTML数据,就可以进行下一步的处理了。

第26行把这一次得到的字符串拼接在之前保存的字符串的后面,最后就能得到完整的HTML字符串。

然后说一下判断所有任务完成的处理

 1 private void StartDownload()
 2 {
 3     _checkTimer = new Timer(new TimerCallback(CheckFinish), null, 0, 300);
 4     DispatchWork();
 5 }
 6
 7 private void CheckFinish(object param)
 8 {
 9     if (_workingSignals.IsFinished()) //检查是否所有工作实例都为Finished
10     {
11         _checkTimer.Dispose(); //停止定时器
12         _checkTimer = null;
13         if (DownloadFinish != null && _ui != null) //判断是否注册了完成事件
14         {
15             _ui.Dispatcher.Invoke(DownloadFinish, _index); //调用事件
16         }
17     }
18 }

第3行创建了一个定时器,每过300ms调用一次CheckFinish来判断是否完成任务。
第15行提供了一个完成任务时的事件,可以给客户程序注册。_index里存放了当前下载URL的个数。

该事件的定义是

1 public delegate void DownloadFinishHandler(int count);
2
3 /// <summary>
4 /// 全部链接下载分析完毕后触发
5 /// </summary>
6 public event DownloadFinishHandler DownloadFinish = null;

时间: 2024-10-14 12:55:12

用C#实现网络爬虫(一)的相关文章

简谈-网络爬虫的几种常见类型

众所周知,网络爬虫(或称为网络爬虫.网络蜘蛛.机器人)是搜索引擎最上游的一个模块,是负责搜索引擎内容索引的第一关. 很多人为了提高自己网站的索引量,都是去网上随便找一些爬虫工具来使用.但是很多人不知道,这些抓取网站的小爬虫是有各种各样的不同性格的. 常见的优秀网络爬虫有以下几种类型: 1.批量型网络爬虫:限制抓取的属性,包括抓取范围.特定目标.限制抓取时间.限制数据量以及限制抓取页面,总之明显的特征就是受限: 2.增量型网络爬虫(通用爬虫):与前者相反,没有固定的限制,无休无止直到抓完所有数据.

[No000090]微信公众号网络爬虫接口分析1

一直想做个公众号的网络爬虫,网上的好多接口都依赖于"瘦狗",不过微信接口一直在变,现在"瘦狗"也只允许查看10条历史记录,所以今天趁着下雨,研究了一下apk内部的东西,但是怕微信又改,我透漏的不能太多,有兴趣可以私下交流. 从微信上复制出来的url:https://mp.weixin.qq.com/mp/getmasssendmsg?__biz=MzI4OTA5MDgxNw==#wechat_webview_type=1&wechat_redirect 用浏

基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎

网络爬虫架构在Nutch+Hadoop之上,是一个典型的分布式离线批量处理架构,有非常优异的吞吐量和抓取性能并提供了大量的配置定制选项.由于网络爬虫只负责网络资源的抓取,所以,需要一个分布式搜索引擎,用来对网络爬虫抓取到的网络资源进行实时的索引和搜索. 搜 索引擎架构在ElasticSearch之上,是一个典型的分布式在线实时交互查询架构,无单点故障,高伸缩.高可用.对大量信息的索引与搜索都可以在近 乎实时的情况下完成,能够快速实时搜索数十亿的文件以及PB级的数据,同时提供了全方面的选项,可以对

网络爬虫技术入门_Python基础与爬虫技术

Python基础与爬虫技术  课程学习地址:http://www.xuetuwuyou.com/course/195 课程出自学途无忧网:http://www.xuetuwuyou.com 课程简介 本作为一种便捷地收集网上信息并从中抽取出可用信息的方式,网络爬虫技术变得越来越有用.使用Python这样的简单编程语言,你可以使用少量编程技能就可以爬取复杂的网站. <Python 基础与爬虫技术>讲解了从静态页面爬取数据的方法以及使用缓存来管理服务器负载的方法.此外,本课程还介绍了如何使用AJA

网络爬虫小案例_2017/3/10

今晚,了解了一下网络爬虫,那么什么是网络爬虫呢? 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常被称为网页追逐者),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本,已被广泛应用于互联网领域.搜索引擎使用网络爬虫抓取Web网页.文档甚至图片.音频.视频等资源,通过相应的索引技术组织这些信息,提供给搜索用户进行查询.网络爬虫也为中小站点的推广提供了有效的途径,网站针对搜索引擎爬虫的优化曾风靡一时. 网络爬虫的基本工作流程如下:     1.首先选取一部分精心挑选的种子U

使用网络爬虫的一丝心得

因为参与了创新计划,所以懵懵懂懂的接触到了网络爬虫. 爬数据使用工具,因此了解到Python.asp.net等可以用来抓数据. 想想在学习.net的时候根本没有想到会使用在这个上面--书本上的知识都是死的,那学习的基础知识只能通过不断的拓展使用领域才能在更好的得到深化.应用! 进入一个陌生的领域,从入门到精通的路真的是需要用汗水积累起来的--没有真正的天才,只有自感聪明的蠢材.(自我审视) 有句话说的特别的好:"世界上两种聪明的人:一种是从来不认为自己聪明的聪明人:而另一种是自以为自己很聪明的'

网络爬虫之selenium(综述)

   现阶段网络爬虫的工具主要是有scrapy.selenium(第二版)等.总的来说各有好处,scrapy最大 的好处是爬取的速度快而selenium的好处是能爬去的网站种类多.详细点的解释是:scrapy在爬取网页时不 用点击开页面(selenium似乎需要页面全部加载完才可以查找定位),selenium可以爬取动态网页和静态网页 (模拟浏器操作)而scrapy可以很顺利的爬取静态网页(但是很难或者不能爬取动态网页).由于爬取知网 的需要,本人学习了selenium,现分享一下个人的心得(如

下载大数据实战课程第一季Python基础和网络爬虫数据分析

python语言近年来越来越被程序相关人员喜欢和使用,因为其不仅简单容易学习和掌握,而且还有丰富的第三方程序库和相应完善的管理工具:从命令行脚本程序到gui程序,从B/S到C/S,从图形技术到科学计算,软件开发到自动化测试,从云计算到虚拟化,所有这些领域都有python的身影:python已经深入到程序开发的各个领域,并且会越来越多的人学习和使用. 大数据实战课程第一季Python基础和网络爬虫数据分析,刚刚入手,转一注册文件,视频的确不错,可以先下载看看:链接:http://pan.baidu

网络爬虫: 从allitebooks.com抓取书籍信息并从amazon.com抓取价格(2): 抓取allitebooks.com书籍信息及ISBN码

这一篇首先从allitebooks.com里抓取书籍列表的书籍信息和每本书对应的ISBN码. 一.分析需求和网站结构 allitebooks.com这个网站的结构很简单,分页+书籍列表+书籍详情页. 要想得到书籍的详细信息和ISBN码,我们需要遍历所有的页码,进入到书籍列表,然后从书籍列表进入到每本书的详情页里,这样就能够抓取详情信息和ISBN码了. 二.从分页里遍历每一页书籍列表 通过查看分页功能的HTML代码,通过class="current"可以定位当前页码所在span标签,此s

网络爬虫

网络爬虫 概述 这是一个网络爬虫学习的技术分享,主要通过一些实际的案例对爬虫的原理进行分析,达到对爬虫有个基本的认识,并且能够根据自己的需要爬到想要的数据.有了数据后可以做数据分析或者通过其他方式重新结构化展示. 什么是网络爬虫 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自动索引.模拟程序或者蠕虫.via 百度百科网络爬虫网络蜘蛛(Web spider)也叫网络爬