springMVC结合json向后台传送数据（一）

1、相关资料

官方文档：http://htmlparser.sourceforge.net/samples.html

API：http://htmlparser.sourceforge.net/javadoc/index.html

其它HTML 解释器：jsoup等。由于HtmlParser自2006年以后就再没更新，目前很多人推荐使用jsoup代替它。

2、使用HtmlPaser的关键步骤

（1）通过Parser类创建一个解释器

（2）创建Filter或者Visitor

（3）使用parser根据filter或者visitor来取得所有符合条件的节点

（4）对节点内容进行处理

3、使用Parser的构造函数创建解释器

Parser()

Zero argument constructor.
Parser(Lexer lexer)

Construct a parser using the provided lexer.
Parser(Lexer lexer, ParserFeedback fb)

Construct a parser using the provided lexer and feedback object.
Parser(String resource)

Creates a Parser object with the location of the resource (URL or file).
Parser(String resource, ParserFeedback feedback)

Creates a Parser object with the location of the resource (URL or file) You would typically create a DefaultHTMLParserFeedback object and pass it in.
Parser(URLConnection connection)

Construct a parser using the provided URLConnection.
Parser(URLConnection connection, ParserFeedback fb)

Constructor for custom HTTP access.

对于大多数使用者来说，使用最多的是通过一个URLConnection或者一个保存有网页内容的字符串来初始化Parser，或者使用静态函数来生成一个Parser对象。ParserFeedback的代码很简单，是针对调试和跟踪分析过程的，一般不需要改变。而使用Lexer则是一个相对比较高级的话题，放到以后再讨论吧。

这里比较有趣的一点是，如果需要设置页面的编码方式的话，不使用Lexer就只有静态函数一个方法了。对于大多数中文页面来说，好像这是应该用得比较多的一个方法。

4、HtmlPaser使用Node对象保存各节点信息

（1）访问各个节点的方法

Node getParent ()：取得父节点

NodeList getChildren ()：取得子节点的列表

Node getFirstChild ()：取得第一个子节点

Node getLastChild ()：取得最后一个子节点

Node getPreviousSibling ()：取得前一个兄弟（不好意思，英文是兄弟姐妹，直译太麻烦而且不符合习惯，对不起女同胞了）

Node getNextSibling ()：取得下一个兄弟节点

（2）取得Node内容的函数

String getText ()：取得文本

String toPlainTextString()：取得纯文本信息。

String toHtml () ：取得HTML信息（原始HTML）

String toHtml (boolean verbatim)：取得HTML信息（原始HTML）

String toString ()：取得字符串信息（原始HTML）

Page getPage ()：取得这个Node对应的Page对象

int getStartPosition ()：取得这个Node在HTML页面中的起始位置

int getEndPosition ()：取得这个Node在HTML页面中的结束位置

5、使用Filter访问Node节点及其内容

（1）Filter的种类

顾名思义，Filter就是对于结果进行过滤，取得需要的内容。

所有的Filter均实现了NodeFilter接口，此接口只有一个方法Boolean accept(Node node)，用于确定某个节点是否属于此Filter过滤的范围。

HTMLParser在org.htmlparser.filters包之内一共定义了16个不同的Filter，也可以分为几类。

判断类Filter：

TagNameFilter

HasAttributeFilter

HasChildFilter

HasParentFilter

HasSiblingFilter

IsEqualFilter

逻辑运算Filter：

AndFilter

NotFilter

OrFilter

XorFilter

其他Filter：

NodeClassFilter

StringFilter

LinkStringFilter

LinkRegexFilter

RegexFilter

CssSelectorNodeFilter

除此以外，可以自定义一些Filter，用于完成特殊需求的过滤。

（2）Filter的使用示例

以下示例用于提取HTML文件中的链接

[java] view
plaincopy

  1. package org.ljh.search.html;
  2. import java.util.HashSet;
  3. import java.util.Set;
  4. import org.htmlparser.Node;
  5. import org.htmlparser.NodeFilter;
  6. import org.htmlparser.Parser;
  7. import org.htmlparser.filters.NodeClassFilter;
  8. import org.htmlparser.filters.OrFilter;
  9. import org.htmlparser.tags.LinkTag;
  10. import org.htmlparser.util.NodeList;
  11. import org.htmlparser.util.ParserException;
  12. //本类创建用于HTML文件解释工具
  13. public class HtmlParserTool {
  14. // 本方法用于提取某个html文档中内嵌的链接
  15. public static Set<String> extractLinks(String url, LinkFilter filter) {
  16. Set<String> links = new HashSet<String>();
  17. try {
  18. // 1、构造一个Parser，并设置相关的属性
  19. Parser parser = new Parser(url);
  20. parser.setEncoding("gb2312");
  21. // 2.1、自定义一个Filter，用于过滤<Frame >标签，然后取得标签中的src属性值
  22. NodeFilter frameNodeFilter = new NodeFilter() {
  23. @Override
  24. public boolean accept(Node node) {
  25. if (node.getText().startsWith("frame src=")) {
  26. return true;
  27. } else {
  28. return false;
  29. }
  30. }
  31. };
  32. //2.2、创建第二个Filter，过滤<a>标签
  33. NodeFilter aNodeFilter = new NodeClassFilter(LinkTag.class);
  34. //2.3、净土上述2个Filter形成一个组合逻辑Filter。
  35. OrFilter linkFilter = new OrFilter(frameNodeFilter, aNodeFilter);
  36. //3、使用parser根据filter来取得所有符合条件的节点
  37. NodeList nodeList = parser.extractAllNodesThatMatch(linkFilter);
  38. //4、对取得的Node进行处理
  39. for(int i = 0; i<nodeList.size();i++){
  40. Node node = nodeList.elementAt(i);
  41. String linkURL = "";
  42. //如果链接类型为<a />
  43. if(node instanceof LinkTag){
  44. LinkTag link = (LinkTag)node;
  45. linkURL= link.getLink();
  46. }else{
  47. //如果类型为<frame />
  48. String nodeText = node.getText();
  49. int beginPosition = nodeText.indexOf("src=");
  50. nodeText = nodeText.substring(beginPosition);
  51. int endPosition = nodeText.indexOf(" ");
  52. if(endPosition == -1){
  53. endPosition = nodeText.indexOf(">");
  54. }
  55. linkURL = nodeText.substring(5, endPosition - 1);
  56. }
  57. //判断是否属于本次搜索范围的url
  58. if(filter.accept(linkURL)){
  59. links.add(linkURL);
  60. }
  61. }
  62. } catch (ParserException e) {
  63. e.printStackTrace();
  64. }
  65. return links;
  66. }
  67. }

程序中的一些说明：

（1）通过Node#getText()取得节点的String。

（2）node instanceof TagLink，即<a/>节点，其它还有很多的类似节点，如tableTag等，基本上每个常见的html标签均会对应一个tag。官方文档说明如下：

org.htmlparser.nodes The nodes package has the concrete node implementations.
org.htmlparser.tags The tags package contains specific tags.

因此可以通过此方法直接判断一个节点是否某个标签内容。

其中用到的LinkFilter接口定义如下：

[java] view
plaincopy

  1. package org.ljh.search.html;
  2. //本接口所定义的过滤器，用于判断url是否属于本次搜索范围。
  3. public interface LinkFilter {
  4. public boolean accept(String url);
  5. }

测试程序如下：

[java] view
plaincopy

  1. package org.ljh.search.html;
  2. import java.util.Iterator;
  3. import java.util.Set;
  4. import org.junit.Test;
  5. public class HtmlParserToolTest {
  6. @Test
  7. public void testExtractLinks() {
  8. String url = "http://www.baidu.com";
  9. LinkFilter linkFilter = new LinkFilter(){
  10. @Override
  11. public boolean accept(String url) {
  12. if(url.contains("baidu")){
  13. return true;
  14. }else{
  15. return false;
  16. }
  17. }
  18. };
  19. Set<String> urlSet = HtmlParserTool.extractLinks(url, linkFilter);
  20. Iterator<String> it = urlSet.iterator();
  21. while(it.hasNext()){
  22. System.out.println(it.next());
  23. }
  24. }
  25. }

输出结果如下：

http://www.hao123.com

http://www.baidu.com/

http://www.baidu.com/duty/

http://v.baidu.com/v?ct=301989888&rn=20&pn=0&db=0&s=25&word=

http://music.baidu.com

http://ir.baidu.com

http://www.baidu.com/gaoji/preferences.html

http://news.baidu.com

http://map.baidu.com

http://music.baidu.com/search?fr=ps&key=

http://image.baidu.com

http://zhidao.baidu.com

http://image.baidu.com/i?tn=baiduimage&ct=201326592&lm=-1&cl=2&nc=1&word=

http://www.baidu.com/more/

http://shouji.baidu.com/baidusearch/mobisearch.html?ref=pcjg&from=1000139w

http://wenku.baidu.com

http://news.baidu.com/ns?cl=2&rn=20&tn=news&word=

https://passport.baidu.com/v2/?login&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2F

http://www.baidu.com/cache/sethelp/index.html

http://zhidao.baidu.com/q?ct=17&pn=0&tn=ikaslist&rn=10&word=&fr=wwwt

http://tieba.baidu.com/f?kw=&fr=wwwt

http://home.baidu.com

https://passport.baidu.com/v2/?reg&regType=1&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2F

http://v.baidu.com

http://e.baidu.com/?refer=888

;

http://tieba.baidu.com

http://baike.baidu.com

http://wenku.baidu.com/search?word=&lm=0&od=0

http://top.baidu.com

http://map.baidu.com/m?word=&fr=ps01000

springMVC结合json向后台传送数据（一）,布布扣,bubuko.com

时间： 2024-08-25 12:15:49

springMVC结合json向后台传送数据（一）的相关文章

springMVC之浏览器到后台的数据传递

在讲浏览器到后台的数据传递之前先了解几个概念:json对象,json字符串,spingMVC的注解@requestBody,ajax请求的参数contentType var data = { "name":"spring", "age":"20" }; 类似这种格式的就是json对象.json对象的字符串格式就是json字符串. javaScript中有两个关于JSON的工具: //将字符串类型的data转化成json对象 J

ajax方法向后台传送数据

从前台获取用户输入的账号密码,用ajax方法,传递给后台,输出后台返回的数据 html部分 php部分

springMVC和Json的交互（就是后台解析json字符串和向前台传递json字符串的过程）

springMVC中和json的交互:主要分为两点,一是传递过来的是json字符串,springMVC会先进行解析,二是传递过来的是key:value那么springMVC可以不进行解析,这里的解析指的是json和java对象之间的转换 java对象:就是实体类的对象 首先先来看一张交互的图: 分析: 1.从这个图中我们可以看出来,前台请求的数据如果是json字符串,我们需要用@RequestBody先将json字符串转成java对象,然后前台传输的是java对象的时候就需要用@Response

springMVC传递JSON格式数据

这两天在使用SpringMVC传递JSON数据格式,出现了各种令人头大的问题,但是功夫不负有心人,最后还是解决了问题.在这里记录下来供大家参考,如有不对,还请各位大侠指正. 在SpringMVC传递JSON数据格式需要加入两个jar包:com.springsource.org.codehaus.jackson-1.4.2.jar,com.springsource.org.codehaus.jackson.mapper-1.4.2.jar. 实体JavaBean:Person  具有tname,g

springMVC 返回json数据

虽然工作中经常使用异步请求加载数据,但是大部分这些系统的架构都是由其他同事完成的,这几天尝试着自己搭建springMVC项目中途遇到了不少的问题, 我们经常会需要向后台请求数据,后台往往返回json格式的数据作为返回结果,springMVC框架中有@ResponseBody 但是需要配置文件一通配置 controller层代码 @ResponseBody @RequestMapping("/testJson") public Collection<Employee> tes

SSM框架：解决后台传数据到前台中文乱码问题，使用@ResponseBody返回json 中文乱码

场景: 在实际运用场景中,当前台发起请求后,我们需要从后台返回数据给前台,这时,如果返回的数据中包含中文,则经常会出现在后台查询出来都是好好,但是传输回去就莫名的乱码了,而且,我们明明已经在 web.xml 中进行编码过滤了,但还是乱码,让人很头疼. 解决办法: 第一种:这种方法,估计很多人都知道,那就在 controller 中的每个方法的  @RequestMappering 注解中进行编码设置,如下所示: @RequestMapping(value = "/queryUserById&qu

两种接口传送数据协议(xml和json)

规范性接口开发中,一般数据是以json或者xml的格式传送的,而不是字符串的形式直接返回给接口调用者:下面介绍这两种格式的编写方法. 下面两种数据传送方式是接口输出端的编写.需引入的包如下: <span style="font-family:KaiTi_GB2312;font-size:18px;">importjava.io.PrintWriter; importjava.io.StringWriter; importjavax.servlet.http.HttpServ

SpringMVC返回json数据的三种方式

SpringMVC返回json数据的三种方式:http://blog.csdn.net/shan9liang/article/details/42181345 上述第三种方法:可能会出现这个jar包没有的情况,引入即可,下面pom引入即可 java.lang.NoClassDefFoundError: com/fasterxml/jackson/core/JsonProcessingException

SpringMVC的JSON数据交互(七)

[email protected]   (自动将请求的数据封装为对象) 作用: @RequestBody注解用于读取http请求的内容(字符串),通过springmvc提供的HttpMessageConverter接口将读到的内容(json数据)转换为java对象并绑定到Controller方法的参数上. 传统的请求参数: itemEdit.action?id=1&name=zhangsan&age=12 现在的请求参数: 使用POST请求,在请求体里面加入json数据 { "i