HTMLPARSER.NET 参考资料

例子1:

using System;
using System.IO;
using Winista.Text.HtmlParser;
using Winista.Text.HtmlParser.Lex;
using Winista.Text.HtmlParser.Util;
using Winista.Text.HtmlParser.Tags;

private void button1_Click(object sender, EventArgs e)
{
    //we can use the stream to load a html file from the local disk
    // or use the uri to load a web page from the internet
    //byte[] htmlBytes = Encoding.UTF8.GetBytes(this.textBox1.Text);
    //MemoryStream memsteam = new MemoryStream(htmlBytes);
    //InputStreamSource input = new InputStreamSource(memsteam, "utf-8");
    //Page page = new Page(input);
    //Lexer lex = new Lexer(page);

if (this.textBox1.Text.Length <= 0)
        return;
    //here I read the html from the textbox
    Lexer lexer = new Lexer(this.textBox1.Text);
    Parser parser = new Parser(lexer);
    NodeList htmlNodes = parser.Parse(null);
    this.treeView1.Nodes.Clear();
    this.treeView1.Nodes.Add("root");
    TreeNode treeRoot = this.treeView1.Nodes[0];
    for (int i = 0; i < htmlNodes.Count; i++)
    {
        this.RecursionHtmlNode(treeRoot, htmlNodes[i], false);
    }
}

private void RecursionHtmlNode(TreeNode treeNode, INode htmlNode, bool siblingRequired)
{
    if (htmlNode == null || treeNode == null) return;

TreeNode current = treeNode;
    //current node
    if (htmlNode is ITag)
    {
        ITag tag=(htmlNode as ITag);
        if (!tag.IsEndTag())
        {
            string nodeString = tag.TagName;
            if (tag.Attributes != null && tag.Attributes.Count > 0)
            {
                if (tag.Attributes["ID"] != null)
                    nodeString = nodeString + " { id=\"" + tag.Attributes["ID"].ToString() + "\" }";
                if (tag.Attributes["CLASS"] != null)
                    nodeString = nodeString + " { class=\"" + tag.Attributes["CLASS"].ToString() + "\" }";
                if (tag.Attributes["STYLE"] != null)
                    nodeString = nodeString + " { style=\"" + tag.Attributes["STYLE"].ToString() + "\" }";
                if (tag.Attributes["HREF"] != null)
                    nodeString = nodeString + " { href=\"" + tag.Attributes["HREF"].ToString() + "\" }";
            }
            current = new TreeNode(nodeString);
            treeNode.Nodes.Add(current);
        }
    }

//the children nodes
    if (htmlNode.Children!=null && htmlNode.Children.Count > 0)
    {
        this.RecursionHtmlNode(current, htmlNode.FirstChild, true);
    }

//the sibling nodes
    if (siblingRequired)
    {
        INode sibling = htmlNode.NextSibling;
        while (sibling != null)
        {
            this.RecursionHtmlNode(treeNode, sibling, false);
            sibling = sibling.NextSibling;
        }
    }
}

htmlparser是一个纯的java写的html解析的库,它不依赖于其它的java库文件,主要用于改造或提取html。它能超高速解析html,而且不会出错。
毫不夸张地说,htmlparser就是目前最好的html解析和分析的工具。

无论你是想抓取网页数据还是改造html的内容,用了htmlparser绝对会忍不住称赞。

C#版本htmlparser下载    java版本htmlparser下载

简单的教程:

(1)、数据组织分析:

HtmlParser主要靠Node、AbstractNode和Tag来表达Html,因为Remark和Text相对简单 ,此处就将其忽略了。

Node是形成树结构表示HTML的基础,所有的数据表示都是接口Node的实现,Node定义了与页面树结构所表达的页面Page对象,定义了获取父、子、兄弟节点的方法,定义了节点到对应html文本的方法,定义了该节点对应的起止位置,定义了过滤方法 ,定义了Visitor访问机制。 
AbstractNode是Node的一种具体的类实现,起到构成树形结构的作用,除了同具体Node相关的accetp方法,toString,toHtml,toPlainTextString方法以外,AbstractNode实现了大多基本的方 法,使得它的子类,不用理会具体的树操作。 
Tag是具体分析的主要内容。Tag分成composite的Tag和不能包含其他Tag的简单Tag两类,其中前者的基类是CompositeTag,其子类包含BodyTag,Div,FrameSetTag,OptionTag,等27个子类 ;而简单Tag有BaseHrefTag、DoctypeTag,FrameTag,ImageTag,InputTag,JspTag,MetaTag,ProcessingInstructionTag这八类。 
Node分成三类:

RemarkNode:代表Html中的注释 
TagNode:标签节点,是种类最多的节点类型,上述Tag的具体节点类都是TagNode的实现。 
TextNode:文本节点 
(2)、Visitor方式访问Html:
1,整体解析过程
用一个URL或页面String做一个Parser 
用这个Parser做一个Visitor 
使用Parser.visitAllNodeWith(Visitor)来遍历节点 
获取Visitor遍历后得到的数据 
2,Visit过程
做解析之前做的事情:visitor.beginParsing(); 
每次取到一个节点Node,让该Node接受accept该Visitor 
做解析后做的事情:visitor.finishedParsing(); 
3,获取节点的过程:逐步遍历Html,分析出Node。此部分较为复杂,且对于我们应用来说无需很多了解,暂跳过。
4,节点访问
节点访问采用Visitor模式,Node的accept方法和具体Visitor的visit方法是关键。
首先三类Node来accept的方式各不相同:
对于所有TagNode都使用一个accept方法,即TagNode的accept方法。首先判断是否是标签结尾,如果是就visitor.visitEndTag (this);否则visitor.visitTag (this); 
如果是TextNode,那就visitor.visitStringNode (this);就可以了。 
如果是RemarkNode,那就visitor.visitRemarkNode (this);就可以了。

实际上NodeVisitor里边这四种visit方法都是空的,因为在不同的Visitor中对于这三类节点的处理是不同的 ;对于需要处理的节点,只要重载对应的visit方法就行了,如果不处理那就不理会就可以了;另外,如果用户用自己的Visitor,那么还可以灵活的处理不同类型的节点了。

系统为我们实现了下面我要介绍的8种Visitor,实际上可以看作是系统给我们演示了如何做各种各样的Visitor来访问Html,因为实际上我们要真正来用HtmlParser的话,还需要特定的Visitor,而通过简单的这些系统提供的Visitor组合是难以做成什么事情的。
(3)、系统Visitor功能简介:
ObjectFindingVisitor:用来找出所有指定类型的节点,采用getTags()来获取结果。 
StringBean:用来从一个指定的URL获取移除了<SCRIPT></SCRIPT>和<PRE></PRE>之间代码的Html代码,也可以用做Visitor,用来移除这两种标签内部的代码,采用StringBean.getStrings()来获取结果。 
HtmlPage:提取Title,body中的节点和页面中的TableTag节点。 
LinkFindingVisitor:找出节点中包含某个链接的总个数。 
StringFindingVisitor:找出遍历的TextNode中含有指定字符串的个数。 
TagFindingVisitor:找出指定Tag的所有节点,可以指定多种类型。 
TextExtractingVisitor:从网页中把所有标签去掉来提取文本,这个提取文本的Visitor有时是很实用的 ,只是注意在提取文本时将标签的属性也去掉了,也就是说只剩下标签之间的文本,例如<a>中的链接也去掉了。 
UrlModifyingVisitor:用来修改网页中的链接。 
(4)、Filter
 
如果说visitor是遍历提取信息,当然这个信息可以包括某些节点或者从节点分析出来的更有效的信息,这都取决于我们的Visitor做成什么样子,那么Filter则目标很明确,就是用来提取节点的。所以说要想用HtmlParser,首先要熟悉上面讲到的数据组织。
 
系统定义了17种具体的Filter,包括依据节点父子关系的Filter,连接Filter组合的Filter,依据网页内容匹配情况的filter,等等。我们也可以implement Filter来做自己的Filter来提取节点。
Filter的调用是同Visitor独立的,因为也无需先filter出一些NodeList,再用Visitor来访问。调用Filter的方法是:
NodeList nodeList = myParser.parse(someFilter);
解析之后,我们可以采用:
Node[] nodes = nodeList.toNodeArray();
来获取节点数组,也可以直接访问:
Node node = nodeList.elementAt(i)来获取Node。
另外,在Filter后得到NodeList以后,我们仍然可以使用NodeList的extractAllNodesThatMatch (someFilter)来进一步过滤,同时又可以用NodeList的isitAllNodesWith(someVisitor)来做进一步的访问。
这样,我们可以看到HtmlParser为我们提供了非常方便的Html解析方式,针对不同的应用可以采用visitor来遍历Html节点提取数据,也可以用Filter来过滤节点,提取出我们所关注的节点,再对节点进行处理。通过这样的组合,一定能够找出我们所需要的信息。

代码例子:

htmlparser取得一段html代码里面所有的链接C#版本,java版本类似:
string htmlcode = "<HTML><HEAD><TITLE>AAA</TITLE></HEAD><BODY>" + ...... + "</BODY></HTML>";
Parser parser = Parser.CreateParser(htmlcode, "GBK");
HtmlPage page = new HtmlPage(parser);
try
{ parser.VisitAllNodesWith(page);}
catch (ParserException e1)
{ e1 = null;}
NodeList nodelist = page.Body;
NodeFilter filter = new TagNameFilter("A");
nodelist = nodelist.ExtractAllNodesThatMatch(filter, true);
for (int i = 0; i < nodelist.Size(); i++)
{
LinkTag link=(LinkTag) nodelist.ElementAt(i);
System.Console.Write(link.GetAttribute("href") + "\n");
}

时间: 2024-10-28 23:05:12

HTMLPARSER.NET 参考资料的相关文章

使用 HttpClient 和 HtmlParser 实现简易爬虫

这篇文章介绍了 HtmlParser 开源包和 HttpClient 开源包的使用,在此基础上实现了一个简易的网络爬虫 (Crawler),来说明如何使用 HtmlParser 根据需要处理 Internet 上的网页,以及如何使用 HttpClient 来简化 Get 和 Post 请求操作,构建强大的网络应用程序. 源文地址:http://www.ibm.com/developerworks/cn/opensource/os-cn-crawler/ HttpClient 与 HtmlPars

[转]使用 HttpClient 和 HtmlParser 实现简易爬虫

http://www.ibm.com/developerworks/cn/opensource/os-cn-crawler/ http://blog.csdn.net/dancen/article/details/7570911 HttpClient 与 HtmlParser 简介本小结简单的介绍一下 HttpClinet 和 HtmlParser 两个开源的项目,以及他们的网站和提供下载的地址. HttpClient 简介HTTP 协议是现在的因特网最重要的协议之一.除了 WEB 浏览器之外,

《宗庆后:万有引力原理》:娃哈哈官方口径,可以作为了解娃哈哈及其相关领域的重要参考资料。三星推荐

从宗庆后的父母写起.作者是专职作家,讲故事水平没的说,但是书中关于商业领域的分析概括则有所欠缺.另外,书中当然只会讲娃哈哈愿意讲给读者听的故事.娃哈哈口服液.非常可乐为什么逐渐淡出市场之类的事情,书中自然是避而不谈. 想了解娃哈哈这个中国知名品牌的故事,这本书应该还是比较重要的参考资料. 下面是书中的一些重要的信息的摘抄: 1:宗庆后在绍兴茶场干了14年,种过茶.割过稻.喂过猪,每月工资28元,加上马目农场的一年,15年总共得到了5000块钱左右的工资:#743 2:1978年,因为学历不够,宗

HtmlParser

HtmlParser 基本类库使用 HtmlParser 提供了强大的类库来处理 Internet 上的网页,可以实现对网页特定内容的提取和修改.下面通过几个例子来介绍 HtmlParser 的一些使用.这些例子其中的代码,有部分用在了后面介绍的简易爬虫中.以下所有的代码和方法都在在类 HtmlParser.Test.java 里,这是笔者编写的一个用来测试 HtmlParser 用法的类. 迭代遍历网页所有节点 网页是一个半结构化的嵌套文本文件,有类似 XML 文件的树形嵌套结构.使用Html

htmlparser 学习

htmlparser 学习系列 htmlparser 使用法使用与详解

CQRS及.NET中的参考资料

(此文章同时发表在本人微信公众号"dotNET每日精华文章",欢迎右边二维码来关注.) 题记:CQRS作为一种设计模式,其实一点都不新鲜了.不过今天有朋友感叹.NET朋友也关注CQRS,才打算把之前看到的一些.NET下的CQRS参考资料分享下. 命令查询的责任分离Command Query Responsibility Segregation (简称CQRS)模式是一种架构体系模式,能够使改变模型状态的命令和模型状态的查询实现分离.这一模式最早由Greg Young在一次InfoQ的采

使用HtmlParser抓去网页内容

package parser; import org.htmlparser.Parser; import org.htmlparser.beans.StringBean; importorg.htmlparser.filters.NodeClassFilter; importorg.htmlparser.parserapplications.StringExtractor; import org.htmlparser.tags.BodyTag; import org.htmlparser.uti

利用htmlparser提取网页纯文本的例子

import org.htmlparser.Node; import org.htmlparser.NodeFilter; import org.htmlparser.Parser; importorg.htmlparser.filters.TagNameFilter; import org.htmlparser.tags.TableTag; import org.htmlparser.util.NodeList; /** * 标题:利用htmlparser提取网页纯文本的例子 */ publi

python中HTMLParser简单理解

找一个网页,例如https://www.python.org/events/python-events/,用浏览器查看源码并复制,然后尝试解析一下HTML,输出Python官网发布的会议时间.名称和地点. 1 from html.parser import HTMLParser 2 from html.entities import name2codepoint 3 4 class MyHTMLParser(HTMLParser): 5 6 in_title = False 7 in_loca