C#解析HTML利器-Html Agility Pack

今天刚开始做毕设....好吧，的确有点晚。我的毕设设计需要爬取豆瓣的电影推荐，于是就需要解析爬取下来的html，之前用Python玩过解析，但目前我使用的是C#，我觉得C#不比python差，有微软大大在，这个不需要担心，主要还是生态问题。查了下资料，发现Html Agility Pack是比较好的，当然还有其他的，我就不说了，主要使用它做的。

官网地址(可以自己去下载dll):

http://html-agility-pack.net/select-nodes

参考:Html Agility Pack基础类介绍及运用

代码设计:

static void complete(object o, AsyncCompletedEventArgs e)
 {
 // 开始解析html
 var doc = new HtmlDocument();
 doc.Load( "E:\程序文件\C#程序代码\Validate\ConsoleApplication1\movie.txt", Encoding.UTF8);
 List<string> movie = new List<string>(); 

 //
 HtmlNodeCollection nodeCollection = doc.DocumentNode.SelectNodes("//ul/li[ class=\"title\"]");
 foreach (HtmlNode n in nodeCollection)
 {
 Console.WriteLine(n.InnerHtml.Trim());
 movie.Add(n.InnerText.Trim());
 } 

 //获取豆瓣最受欢迎影评
 HtmlNodeCollection nodeCollection1 = doc.DocumentNode.SelectNodes("//div[ class=\"review-bd\"]/h3");
 foreach (HtmlNode n in nodeCollection1)
 {
 Console.WriteLine(n.InnerHtml.Trim());
 movie.Add(n.InnerText.Trim());
 } 

 foreach(var m in movie)
 {
 Console.WriteLine(m);
 } 

 File.Delete( "E:\程序文件\C#程序代码\Validate\ConsoleApplication1\movie.txt");
 } 

 static void Main(string[] args)
 {
 Console.BufferHeight = 10000;
 Console.BufferWidth = 10000;
 string moviePath =  "E:\程序文件\C#程序代码\Validate\ConsoleApplication1\movie.txt";
 WebClient wc = new WebClient();
 wc.UseDefaultCredentials = true;
 wc.DownloadFileAsync(new Uri("https://movie.douban.com/"), moviePath);
 wc.DownloadFileCompleted += new AsyncCompletedEventHandler(complete); 

 Console.Read();
 }

对于WebClient文档，请看https://msdn.microsoft.com/zh-cn/library/system.net.webclient(v=vs.110).aspx

不得不说，微软官网的系列文档真是良心！以前也是听人说过，微软的解决方案以及文档很全，但是一直查资料都是直接百度，现在换了一种，直接上微软官网查....真是良心！而且例子是比较经典的！

原文地址：https://www.cnblogs.com/zhiyong-ITNote/p/8448865.html