JAVA爬虫--JS文件数据快速解析

最近在做一个足球数据爬虫,连接的是某常用足球比分直播平台的网站。在抓取的过程中方法很简单。打开网页地址,进入开发者模式,查看其数据加载。

发现其比分数据是采用获取平台js文件的方式从服务器下载下来然后执行js进行比分展现的.

使用jsoup开源框架进行获取,在代码中合理的设置header。代码如下:

解析方法如下:

输出结果:

又或者使用以下方法解析,但相对复杂,没有上述方法来的优雅,显得繁琐难懂:

原文地址:http://blog.51cto.com/13876516/2146883

时间: 2024-09-19 09:29:06

JAVA爬虫--JS文件数据快速解析的相关文章

Java学习-022-Properties 文件数据写入

Properties 配置文件写入主要通过 Properties.setProperty 和 Properties.store 两个方法,此文以一个简单的 properties 文件写入源码做示例. 小二上码...若有不足之处,敬请大神指正,不胜感激! Properties 文件写入源码如下所示: 1 /** 2 * @function write data to text file by Properties 3 * 4 * @author Aaron.ffp 5 * @version V1.

ashx 文件 与js文件数据交互

//js代码 //城市下拉列表             $("#selPro").change(function() {                 var option = "";                 $.ajax({                     type: "post",                     url: "homeHandler/HomeProvince.ashx",     

nodejs-http 对form表单上传文件数据的解析过程

前几天碰到了一个需求,允许接收前端用户上传的文件. 当时为了解决问题索性就上github搜了下,找了一个基于nodejs的开发插件. 后来功能实现后觉得意犹未尽,于是自己想试试去写一个类似功能的插件,方便以后拓展,然后就这么开始了. 先来说说应用层的http,数据从前端是怎么被它包装然后传到服务器的. 我们可以在浏览器中查看我们发一个请求的时候包什么格式的,例如我们访问百度时得到的请求包内容: Remote Address:180.97.33.107:443 Request URL:https:

Java虚拟机 运行时数据区解析及用途

Java在执行Java程序的过程中会把它所管理的内存划分为若干个不同的数据区域.这些区域都有各自的用途.创建和销毁的时间,有一些是随虚拟机的启动而创建,随虚拟机的退出而销毁,有些则是与线程一一对应,随线程的开始和结束而创建和销毁. Java虚拟机所管理的内存将会包括以下几个运行时数据区域 程序计数器(Program Counter Register) 它是一块较小的内存空间,它的作用可以看做是当先线程所执行的字节码的信号指示器. 每一条JVM线程都有自己的PC寄存器,各条线程之间互不影响,独立存

Java导出pdf文件数据

提示:导出pdf文件,需要3个jar包iText-2.1.5.jar,iTextAsian.jar,iText-rtf-2.1.4.jar. public boolean outputPdfJhsy(EntityBean data) { try { Global.getInstance().LogApp("导出pdf开始"); String pdfpath = File.get("LEAP/NSESTModule/WRModule/nsjhsyzm.pdf").ge

Java怎么实现文件数据拷贝

实现一个文件的内容拷贝到另一个文件里 public void copyDemo () throws IOException { //创建文件输入流 FileInputStream fis = new FileInputStream("d:\\bbb.txt"); //创建文件输出流 FileOutputStream fos = new FileOutputStream("d:\\ccc.txt"); //如果读取到内容则把内容写入另一个文件里 int c; whil

PHP中XPATH 实现xml及html文件快速解析(附xml做小型数据库实现六级单词快速查询实例)

一.XPATH简单入门 XPATH ,XQUERY 专门查询XML语言,查询速度快 使用方法: (1)创建DOM工具,并且加载 xml文件 $xml = new  DOMDocument('1.0','utf-8'); $xml -> load('./dict.xml'); 注:若是对html文件进行快速解析, 同样的道理 此处使用   loadhtmlfile (‘dict.html’); (2)创建xpath解析工具 $xpath = new DOMXPATH($xml); (3)编写xpa

7.跟我学solr---对文件数据添加索引

简介 solr可以对文件数据进行解析,提取可索引内容进行建立索引,底层实现是依赖apache Tika的,Tika利用现有的解析类库,从不同格式的文档中(例如HTML,PDF,Doc),侦测和提取出元数据和结构化内容,然后交由solr建立索引. 添加文件数据索引例子 首先要保证你的solr版本在1.4以上,然后进入到进入到文件所在的目录,然后使用curl命令,把文件数据添加到solr中即可. cd site/html curl "http://localhost:8080/solr/update

Java执行js代码

在做项目中有时候需要用到Java调用js文件执行相应的方法 在JDK1.6添加了新的ScriptEngine类,允许用户直接执行js代码. import org.junit.Test; import javax.script.Invocable; import javax.script.ScriptEngine; import javax.script.ScriptEngineManager; /** * @author ceshi * @Title: JunitTestJS * @Projec