使用HtmlParser提取网页中的链接

关于HtmpParser的基本内容请见 HtmlParser基础教程

本文示例用于提取HTML文件中的链接

[java] view plaincopy

1. package org.ljh.search.html;
2. import java.util.HashSet;
3. import java.util.Set;
4. import org.htmlparser.Node;
5. import org.htmlparser.NodeFilter;
6. import org.htmlparser.Parser;
7. import org.htmlparser.filters.NodeClassFilter;
8. import org.htmlparser.filters.OrFilter;
9. import org.htmlparser.tags.LinkTag;
10. import org.htmlparser.util.NodeList;
11. import org.htmlparser.util.ParserException;
12. //本类创建用于HTML文件解释工具
13. public class HtmlParserTool {
14. // 本方法用于提取某个html文档中内嵌的链接
15. public static Set<String> extractLinks(String url, LinkFilter filter) {
16. Set<String> links = new HashSet<String>();
17. try {
18. // 1、构造一个Parser，并设置相关的属性
19. Parser parser = new Parser(url);
20. parser.setEncoding("gb2312");
21. // 2.1、自定义一个Filter，用于过滤<Frame >标签，然后取得标签中的src属性值
22. NodeFilter frameNodeFilter = new NodeFilter() {
23. @Override
24. public boolean accept(Node node) {
25. if (node.getText().startsWith("frame src=")) {
26. return true;
27. } else {
28. return false;
29. }
30. }
31. };
32. //2.2、创建第二个Filter，过滤<a>标签
33. NodeFilter aNodeFilter = new NodeClassFilter(LinkTag.class);
34. //2.3、净土上述2个Filter形成一个组合逻辑Filter。
35. OrFilter linkFilter = new OrFilter(frameNodeFilter, aNodeFilter);
36. //3、使用parser根据filter来取得所有符合条件的节点
37. NodeList nodeList = parser.extractAllNodesThatMatch(linkFilter);
38. //4、对取得的Node进行处理
39. for(int i = 0; i<nodeList.size();i++){
40. Node node = nodeList.elementAt(i);
41. String linkURL = "";
42. //如果链接类型为<a />
43. if(node instanceof LinkTag){
44. LinkTag link = (LinkTag)node;
45. linkURL= link.getLink();
46. }else{
47. //如果类型为<frame />
48. String nodeText = node.getText();
49. int beginPosition = nodeText.indexOf("src=");
50. nodeText = nodeText.substring(beginPosition);
51. int endPosition = nodeText.indexOf(" ");
52. if(endPosition == -1){
53. endPosition = nodeText.indexOf(">");
54. }
55. linkURL = nodeText.substring(5, endPosition - 1);
56. }
57. //判断是否属于本次搜索范围的url
58. if(filter.accept(linkURL)){
59. links.add(linkURL);
60. }
61. }
62. } catch (ParserException e) {
63. e.printStackTrace();
64. }
65. return links;
66. }
67. }

程序中的一些说明：

（1）通过Node#getText()取得节点的String。

（2）node instanceof TagLink，即<a/>节点，其它还有很多的类似节点，如tableTag等，基本上每个常见的html标签均会对应一个tag。官方文档说明如下：

因此可以通过此方法直接判断一个节点是否某个标签内容。

其中用到的LinkFilter接口定义如下：

[java] view plaincopy

1. package org.ljh.search.html;
2. //本接口所定义的过滤器，用于判断url是否属于本次搜索范围。
3. public interface LinkFilter {
4. public boolean accept(String url);
5. }

测试程序如下：

[java] view plaincopy

1. package org.ljh.search.html;
2. import java.util.Iterator;
3. import java.util.Set;
4. import org.junit.Test;
5. public class HtmlParserToolTest {
6. @Test
7. public void testExtractLinks() {
8. String url = "http://www.baidu.com";
9. LinkFilter linkFilter = new LinkFilter(){
10. @Override
11. public boolean accept(String url) {
12. if(url.contains("baidu")){
13. return true;
14. }else{
15. return false;
16. }
17. }
18. };
19. Set<String> urlSet = HtmlParserTool.extractLinks(url, linkFilter);
20. Iterator<String> it = urlSet.iterator();
21. while(it.hasNext()){
22. System.out.println(it.next());
23. }
24. }
25. }

输出结果如下：

http://www.hao123.com
http://www.baidu.com/
http://www.baidu.com/duty/
http://v.baidu.com/v?ct=301989888&rn=20&pn=0&db=0&s=25&word=
http://music.baidu.com
http://ir.baidu.com
http://www.baidu.com/gaoji/preferences.html
http://news.baidu.com
http://map.baidu.com
http://music.baidu.com/search?fr=ps&key=
http://image.baidu.com
http://zhidao.baidu.com
http://image.baidu.com/i?tn=baiduimage&ct=201326592&lm=-1&cl=2&nc=1&word=
http://www.baidu.com/more/
http://shouji.baidu.com/baidusearch/mobisearch.html?ref=pcjg&from=1000139w
http://wenku.baidu.com
http://news.baidu.com/ns?cl=2&rn=20&tn=news&word=
https://passport.baidu.com/v2/?login&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2F
http://www.baidu.com/cache/sethelp/index.html
http://zhidao.baidu.com/q?ct=17&pn=0&tn=ikaslist&rn=10&word=&fr=wwwt
http://tieba.baidu.com/f?kw=&fr=wwwt
http://home.baidu.com
https://passport.baidu.com/v2/?reg&regType=1&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2F
http://v.baidu.com
http://e.baidu.com/?refer=888
;
http://tieba.baidu.com
http://baike.baidu.com
http://wenku.baidu.com/search?word=&lm=0&od=0
http://top.baidu.com
http://map.baidu.com/m?word=&fr=ps01000