数据采集实践学习二（C#）

前一篇文章写到我获取数据的方式不是通过分析HTML获得，而是通过分析请求链接，然后模拟请求方法获取数据，这只是一种方法。而且是在我通过分析HTML获取不到的情况下，曲线救国，参考别人文章实现的。很高兴，我实现了自己获取数据的目标。我以为这样就算结束了。可是，今天又发现了另外一种方法，而且是通过分析HTML实现的，看到它，我感觉太不可思议了，我花了那么多的时间都没有实现，怎么现在又可以了。现在兴趣正浓，赶紧操刀实践一番。于是有了这篇，算是意外之喜吧！

先说明一下实现思路，原来它是通过调用WebBrowser控件来实现的。怪不得它可以获取HTML，然后分析获取数据。管你什么动态解析，ajax，现在我是浏览器行为了，所有的都逃不过我的法眼。真的是不错的选择方式。

说明一下，包含三个地方。

一个解析获取解析HTML类，一个事件类，一个调用的地方。上次我是拿那个情趣网站实验，结果大家都说我好污，好污，其实我是一个好人，一个让大家都有动力兴趣的好人，代码写累了，看看图片，又鸡血了，我不信大家对美图不感兴趣。学习与欢乐同行，自娱自乐。好了，这次避免大家的想法，我拿我们的博客园实验，我只是获取前面三个页面，太多了也是一样的效果，没有必要，说明方法可行就可以了。

开始代码吧
一个解析类

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading;
using System.Threading.Tasks;
using System.Windows.Forms;

namespace WebBrowserCrawlerdemo
{
    //这种感觉只适合单个页面数据抓取//可以抓取多个页面如博客园的数据
    //http://www.cnblogs.com/rookey/p/5019090.html
    /// <summary>
    /// 通过WebBrowser抓取网页数据
    /// WebBrowserCrawler  webBrowserCrawler=new WebBrowserCrawler();
    /// 示例：File.WriteAllText(Server.MapPath("sample.txt"),webBrowserCrawler.GetReult(http://www.in2.cc/sample/waterfalllab.htm));
    /// </summary>
    public  class WebBrowserCrawler
    {
        // WebBrowser
        private WebBrowser _WebBrowder;
        //最後結果
        private string _Result { get; set; }
        //網址
        private string _Path { get; set; }
        //当一直在抓取资料，允许等待的的最大秒数，超时时间（秒）
        private int _MaxWaitSeconds { get; set; }

        public delegate bool MyDelegate(object sender, TestEventArgs e);
        /// <summary>
        /// 是否达到停止加载条件
        /// </summary>
        public event MyDelegate IsStopEvent;

        /// <summary>
        /// 對外公開的Method
        /// </summary>
        /// <param name="url">URL Path</param>
        /// <param name="maxWaitSeconds">最大等待秒数</param>
        /// <returns></returns>
        public string GetReult(string url, int maxWaitSeconds = 60)
        {
            _Path = url;
            _MaxWaitSeconds = maxWaitSeconds <= 0 ? 60 : maxWaitSeconds;

            var mThread = new Thread(FatchDataToResult);
            //Apartment 是處理序當中讓物件共享相同執行緒存取需求的邏輯容器。 同一 Apartment 內的所有物件都能收到 Apartment 內任何執行緒所發出的
            //.NET Framework 並不使用 Apartment；Managed 物件必須自行以安全執行緒 (Thread-Safe) 的方式運用一切共
            //因為 COM 類別使用 Apartment，所以 Common Language Runtime 在 COM Interop 的狀況下呼叫出 COM 物件時必須建立 Apartment 並且加以初
            //Managed 執行緒可以建立並且輸入只容許一個執行緒的單一執行緒 Apartment (STA)，或者含有一個以上執行緒的多執行緒 Apartment (MT
            //只要把執行緒的 ApartmentState 屬性設定為其中一個 ApartmentState 列舉型別 (Enumeration)，即可控制所建立的 Apartment 屬於哪種
            //因為特定執行緒一次只能初始化一個 COM Apartment，所以第一次呼叫 Unmanaged 程式碼之後就無法再變更 Apartment
            //From : http://msdn.microsoft.com/zh-tw/library/system.threading.apartmentstate.
            mThread.SetApartmentState(ApartmentState.STA);
            mThread.Start();
            mThread.Join();

            return _Result;
        }

        /// <summary>
        /// Call _WebBrowder 抓取資料
        /// For thread Call
        /// </summary>
        private void FatchDataToResult()
        {
            _WebBrowder = new WebBrowser();
            _WebBrowder.ScriptErrorsSuppressed = true;
            _WebBrowder.Navigate(_Path);
            DateTime firstTime = DateTime.Now;
            //處理目前在訊息佇列中的所有 Windows
            //如果在程式碼中呼叫 DoEvents，您的應用程式就可以處理其他事件。例如，如果您的表單將資料加入 ListBox 並將 DoEvents 加入程式碼中，則當另一個視窗拖到您的表單上時，該表單將重
            //如果您從程式碼移除 DoEvents，您的表單將不會重新繪製，直到按鈕按一下的事件處理常式執
            //通过不断循环把整个页面都加载完，然后从中获取自己想要的信息。可以结合这个JumonyParser一起用
            while ((DateTime.Now - firstTime).TotalSeconds <= _MaxWaitSeconds)
            {
                if (_WebBrowder.Document != null && _WebBrowder.Document.Body != null &&
                   !string.IsNullOrEmpty(_WebBrowder.Document.Body.OuterHtml) &&
                   this.IsStopEvent != null)
                {
                    string html = _WebBrowder.Document.Body.OuterHtml;
                    bool rs = this.IsStopEvent(null, new TestEventArgs(html));
                    if (rs)
                    {
                        this._Result = html;
                        break;
                    }
                }
                Application.DoEvents();
            }
            _WebBrowder.Dispose();
        }
    }
}

事件类

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;

namespace WebBrowserCrawlerdemo
{
   public class TestEventArgs:EventArgs
    {
       public string Html { get; set; }
       public TestEventArgs(string html2) {
           this.Html = html2;
       }
    }
}

调用端 先来一个界面吧

代码

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.IO;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Windows.Forms;

namespace WebBrowserCrawlerdemo
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }

        public void test(int num)
        {
            WebBrowserCrawler obj = new WebBrowserCrawler();
            obj.IsStopEvent += new WebBrowserCrawler.MyDelegate((sender, e) =>
            {
                //当前html中已经加载了我想要的数据，返回true//
           //return e.Html.Contains("<div id=\"post_list\">");
                return e.Html.Contains("<div class=\"post_item\">");
            });

            string url = string.Format("http://www.cnblogs.com/#p{0}", num);
            string html = obj.GetReult(url); //获取采集的数据
            if (!string.IsNullOrEmpty(html))
            {
                //处理数据
                Write(html);
            }
        }

        private void btntest_Click(object sender, EventArgs e)
        {
            for (int i = 1; i < 4; i++)
            {
                test(i);
            }
        }
        //http://www.cnblogs.com/akwwl/p/3240813.html
        public void Write( string html)
        {
            string path = @"D:\练习\MyPictureDownloader\WebBrowserCrawlerdemo\bin\Debug\test\test.txt";
            FileStream fs = new FileStream(path, FileMode.Append);
            //获得字节数组
            byte[] data = System.Text.Encoding.Default.GetBytes(html);
            //开始写入
            fs.Write(data, 0, data.Length);
            //清空缓冲区、关闭流
            fs.Flush();
            fs.Close();
        }
    }
}

说明一下，我数据是保存到TXT文件里，没有去分析什么目标数据了，只要整个页面获取就可以了，我是通过追加的形式保存的。

e.Html.Contains("<div id=\"post_list\">"); 分析为啥不是这个，我用它结果获取不到数据。原来是这样的。

返回的是html元素格式，通过它，请求都还没有结束，没有获取到数据，肯定不行了。于是改成上面那个了。可以获取数据。结果如图，我只有获取三页因此三个<body>标签，我也检验对比了，事实就是三页的数据。

如果你还想获取目标数据，可以借助一些HTML分析类如： Jumony，HtmlAgilityPack。

好了，已经下班了。内容也介绍完了。

参考：http://www.cnblogs.com/rookey/p/5019090.htmlhttp://www.cnblogs.com/akwwl/p/3240813.html
时间： 2024-10-13 22:23:47

数据采集实践学习二（C#）的相关文章

基于Java的数据采集（二）

在上一篇文章<基于Java的数据采集(一)>:http://www.cnblogs.com/lichenwei/p/3904715.html 提到了如何如何读取网页源代码,并通过group正则 动态抓取我们所需要的网页数据 现在来写下关于数据的存储,思路很简单,只需要在我们每次读取一个数据的时候,把数据存放在临时变量,然后插入数据库即可. 先来建一个表: DoMysql.java(数据库连接类,并提供插入数据的方法) 1 package com.lcw.curl; 2 3 4 import j

L 系列数据采集卡 ，USB数据采集卡二次开发部分例程编制

Labjack 系列USB数据采集卡,为客户提供了免费的应用程序配置,测试和记录软件,下面就二次开发提供一些支持,支持的有C/C++.C语言.Delphi.Java.LabVIEW.Matlab.Python.VB.NET等,自由UD库-封装低层协议和驱动层以便于使用扩充板-增加±10V DAC,4-20mA输入,端子板,继电器板. 软件对于Windows,使用高级UD库与U3-HV进行通信.这个高级库处理USB驱动层和低层协议的复杂性,允许用户专注于编写适合他们特定需要的代码.开始使用我们网站

基于Java的数据采集（三）

<基于Java的数据采集(一)>:http://www.cnblogs.com/lichenwei/p/3904715.html <基于Java的数据采集(二)>:http://www.cnblogs.com/lichenwei/p/3905370.html 基于之前2篇Java数据采集入库,做了下功能整合,实现本地的存读取,上个效果图: 直接上代码吧,本程序只是作为"如何用JAVA抓取页面简单采集入库"的入门,在实际做采集工具的时候,还需考虑许多东西,比如当采

出差(六)

第六天,一早上到办公室被通知上午11点参加项目阶段总结会,给客户领导汇报当前进度和下一步计划,以及项目中存在的问题. 然后开始准备开会材料,给我分配的任务主要是当前上线的原料过磅环节的进度和计划.主要包含三个方面,一是总结2月26日试点运行情况,需要根据客户的实际到货点进行调整,将已经部署的点迁移到新的到货点,便于持续的数据采集.二是明确部署时间和迁移中存在的问题,三是期望和要求,安装完成后要求持续投入使用,一个简短的word文档. 这边负责项目的同事从整个项目角度整合一个汇报的ppt文档,在不

提高单片机抗干扰:如何让你的设计少走弯路

搞过产品的朋友都有体会,一个设计看似简单,硬件设计和代码编写很快就搞定,但在调试过程中却或多或少的意外,这些都是抗干扰能力不够的体现. 下面讨论一下如何让你的设计避免走弯路: 抗干扰体现在2个方面,一是硬件设计上,二是软件编写上. 这里重点提醒:在MCU设计中主要抗干扰设计是在硬件上,软件为辅.因为MCU的计算能力有限,所以要在硬件上花大工夫. 看看干扰的途径: 1:干扰信号干扰MCU的主要路径是通过I/O口,一是影响了MCU的数据采集,二是影响内部其它寄存器. 解决方法:后面讨论. 2:电源干

基于物联网的智能医护系统研究

1 引 言     目前,我国医院信息化建设处于探索阶段,临床护理业务仍采用人工操作半自动化的方式来实现.由于临床护理工作复杂琐碎,患者信息的采集.分类.汇总.保存占据了大量的人力.物力和时间,并且护理人员不能实时对患者信息进行监测控制.因此,如何减轻临床护理人员的工作压力,采用自动化的设备实时高效的采集和控制患者信息是亟需解决的问题.     随着物联网技术的发展,智慧医疗已成为医院在信息化发展的重要方向之一.智慧医疗主要是指物联网技术在医护系统的的应用,具体是指通过医学传感设备和网络将人体信

Jsoup总结

最近使用了Jsoup,感觉还是挺简单,挺方便的,轻而易举地使用java像jQuery一样操作html节点,轻松抓取网页源码,分析获取各个标签所需的东西. 对于采集网页类具有相当方便的作用 具体可看下面各个相关例子: Jsoup下载地址: http://jsoup.org/download jsoup开发指南,jsoup中文使用手册,jsoup中文文档: http://www.open-open.com/jsoup/ jsoup抓取网页+详细讲解 - 玩转java - 博客频道 - CSDN.NE

Zabbix监控可视化

一.监控系统的架构体系 大家都知道,监控系统由三大部分组成,一,监控数据采集:二,监控告警分析:三,监控数据报表.可视化.在市面上常见的开源监控软件,或者商业监控软件中,均有很好的实践和体现. 监控系统的架构,通常分为无代理模式C/S和有代理模式 C/P/S,当然也有主主节点模式. 二.监控系统的核心功能 下面谈谈监控数据的采集问题 数据的收集方式,可以分为主动模式,被动模式,投递模式.分别指的是: 主动模式:从监控中心去客户端获取数据 被动模式:从客户端向监控中心发送数据 投递模式:向监控中心

（转）如何提高单片机抗干扰

如何提高单片机抗干扰让你少走弯路 搞过产品的朋友都有体会,一个设计看似简单,硬件设计和代码编写很快就搞定,但在调试过程中却或多或少的意外,这些都是抗干扰能力不够的体现. 下面讨论一下如何让你的设计避免走弯路: 抗干扰体现在2个方面,一是硬件设计上,二是软件编写上. 这里重点提醒:在MCU设计中主要抗干扰设计是在硬件上,软件为辅.因为MCU的计算能力有限,所以要在硬件上花大工夫. 看看干扰的途径: 1:干扰信号干扰MCU的主要路径是通过I/O口,一是影响了MCU的数据采集,二是影响内部其它寄存器.