Java抓取利用JS动态加载的网页

最近实验室项目涉及到很多爬虫相关的东西，在此做个整理，爬虫最难的问题应该是javascript和ajax的处理。现在很多网站使用大量ajax，普通爬虫无法获取js生成的内容。　

对于普通的静态网页，HttpClient是Java中抓取网页的利器，然而针对像京东商品页面这样的页面却无能为力，例如：http://item.jd.com/10875285.html

主要原因是页面中的一部分信息比如商品评论是通过JavaScript异步加载的，如果直接通过HttpClient直接抓取只会得到其中的js代码，我们需要的信息却没有得到，解决这个问题有一下几个思路

方法一：分析浏览器加载页面的过程，找到JS加载数据的URL，用爬虫代码来模拟js代码，js读取页面元素值，我们也读取页面元素值;js发送ajax，我们就拼凑参数、发送ajax并解析返回的json。理论上，这种方法肯定可行，但太麻烦。

方法二：使用HtmlUnit，它可以模拟浏览器运行，解析JavaScript，但它对JS支持，并不是足够好，面对包含复杂JS的页面会发生错误，至少京东商品页面的抓取，用HtmlUnit就做不到

方法三：利用Selenium调用浏览器获取动态HTML值，再调用其API，可以很方面获取动态数据。由于是调用第三方像IE Chrome这样的浏览器，这种方法对JS的解析绝对可靠，但由于每个请求都会启动一个浏览器进程，同时浏览器还会加载图片等其他各种资源，所以效率会很低

时间： 2024-08-05 08:43:37

Java抓取利用JS动态加载的网页的相关文章

Python爬虫学习——使用selenium和phantomjs爬取js动态加载的网页

1.安装selenium pip install selenium Collecting selenium Downloading selenium-3.4.1-py2.py3-none-any.whl (931kB) 100% |████████████████████████████████| 942kB 573kB/s Installing collected packages: selenium Successfully installed selenium-3.4.1 2.安装phan

java反射并不是什么高深技术，面向对象语言都有这个功能，而且功能也很简单，就是利用jvm动态加载时生成的class对象

java反射并不是什么高深技术,面向对象语言都有这个功能. 面向对象语言都有这个功能,而且功能也很简单,就是利用jvm动态加载时生成的class对象,去获取类相关的信息 2.利用java反射可以调用类的私有方法么?private()方法答:可以,class取出method,method继承executable类,executable类继承AccessibleObject类,AccessibleObject有个setAccessiable()设置这个方法是否可访问. 则设置成true,就可将pr

js 动态加载事件的几种方法总结

本篇文章主要是对js 动态加载事件的几种方法进行了详细的总结介绍,需要的朋友可以过来参考下,希望对大家有所帮助有些时候需要动态加载javascript事件的一些方法往往我们需要在 JS 中动态添加事件,这就涉及到浏览器兼容性问题了,以下谈及的几种方法,我们也常常混合使用. 方法一.setAttributevar obj = document.getElementById("obj");obj.setAttribute("onclick", "javasc

js动态加载css和js

js动态加载css和js用处挺多,特意提出来 var loadUtil = { /* * 方法说明:[动态加载js文件css文件] * 使用方法:loadUtil.loadjscssfile("http://libs.baidu.com/jquery/1.9.1/jquery.js","js") * @param fileurl 文件路径, * @param filetype 文件类型,支持传入类型,js.css */ loadjscssfile:function(

JS 动态加载脚本执行回调[transfer]

JS 动态加载脚本执行回调关于在javascript里面加载其它的js文件的问题可能很多人都遇到过,但很多朋友可能并不知道怎么判断我们要加载的js文件是否加载完成,如果没有加载完成我们就调用文件里面的函数是不会成功的.本文讲解怎么在js中加载其它js文件并在加载完成后执行回调函数. 我们可以动态的创建 <script> 元素,然后通过更改它的 src 属性来加载脚本,但是怎么知道这个脚本文件加载完成了呢,因为我们有些函数需要在脚本加载完成生效后才能开始执行. 经过对网络上资源的搜索,我发现

利用反射动态加载程序集中所有的继承于Form的子类

利用C# 的反射,能够轻松快捷的创建指定类型的未知对象,比如继承某个接口的类,继承于某个基类的子类. 问题场景: 我自己创建一个解决方案,这个方案里面放了很多的小工具,每一个工具都是一个小窗体,于是,我就用一个MID窗体来包含这些窗体. 这样问题就来了,每一次我添加一个小工具,我就必须在MID窗体里面添加一个按钮,或者是一个菜单.在事件写上,让某个窗体显示出来.这类无聊的语句. 那么能不能让程序自动查找程序集中的窗体,自动创建按钮,或者菜单. 这样就可以达到动态创建的目的了解决方案: 假设我们

JS 动态加载脚本执行回调

JS动态加载JS与CSS文件

JS动态加载JS与CSS文件 DEMO 一 HTML页面 jsforjscss.html 1 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> 2 <html xmlns="http://www.w3.org/1999/xhtml"&

java javaScript实现遮罩层动态加载

通过java.JavaScript和css实现点击按钮后出现灰色遮罩层,并显示动态加载的字样,提高用户体验,废话不多说,上代码(写这个博客的原因是网上代码太多新手根本不知道哪里对哪里,这里剔除所有无关代码,只显示可以出现功能的最少代码). 第一:效果图为第二:实现如上效果的代码为 1:遮罩层css代码 <style type="text/css">#load{position:fixed; top: 0px; right:0px; bottom:0px;filter: a