How to scroll down with Phantomjs to load dynamic content

page.open(‘http://example.com/?q=houston‘, function () {

  // Checks for bottom div and scrolls down from time to time
  window.setInterval(function() {
      // Checks if there is a div with class=".has-more-items"
      // (not sure if this is the best way of doing it)
      var count = page.content.match(/class=".has-more-items"/g);

      if(count === null) { // Didn‘t find
        page.evaluate(function() {
          // Scrolls to the bottom of page
          window.document.body.scrollTop = document.body.scrollHeight;
        });
      }
      else { // Found
        // Do what you want
        ...
        phantom.exit();
      }
  }, 500); // Number of milliseconds to wait between scrolls

});
时间: 2024-10-06 16:59:29

How to scroll down with Phantomjs to load dynamic content的相关文章

php 编译安装插件提示PHP Warning: PHP Startup: Unable to load dynamic library 报错

PHP Warning:  PHP Startup: Unable to load dynamic library '/usr/local/lib/php/extensions/no-debug-non-zts-20090626/"xcache.so"' - /usr/local/lib/php/extensions/no-debug-non-zts-20090626/"xcache.so": cannot open shared object file: No s

wamp在win7-64位下Unable to load dynamic library php_c

wamp在win7-64位下Unable to load dynamic library php_curl.dll网上很多资料都类似这个:PHP在Windows下启动时提示Unable to load dynamic library php_curl.dll问题解决作者:朦朧中的罪惡 发布于:2012-3-2 5:01 Friday 分类:疑难杂症这个问题容易手配PHP的时候出现, 在php.ini中正确开启了curl扩展后, 在PHPINFO中却看不到相关的信息, 而Apache的日志会显示以

PHP Warning: PHP Startup: Unable to load dynamic library '/usr/lib64/php/modules/module.so'

详细的错误截图如下所示: 第一个框中的错误,是因为版本混乱的原因,只需要删除/usr/lib/libxml2.so.2文件即可. 第二个框中的错误,是因为httpd重复加载了PHP的动态模块,只需要删除对应的ini文件即可. 比如:/usr/lib64/php/modules/odbc.so动态库对应的ini文件为:/etc/php.d/odbc.ini,删除这个文件即可. PHP Warning: PHP Startup: Unable to load dynamic library '/us

***XAMPP:报错 Unable to load dynamic library的解决方法

A PHP Error was encountered Severity: Core Warning Message: PHP Startup: Unable to load dynamic library '/opt/lampp/lib/php/extensions/no-debug-non-zts-20131226/php_pdo_mysql.dll' - /opt/lampp/lib/php/extensions/no-debug-non-zts-20131226/php_pdo_mysq

Python爬虫利器四之PhantomJS的用法

前言 大家有没有发现之前我们写的爬虫都有一个共性,就是只能爬取单纯的html代码,如果页面是JS渲染的该怎么办呢?如果我们单纯去分析一个个后台的请求,手动去摸索JS渲染的到的一些结果,那简直没天理了.所以,我们需要有一些好用的工具来帮助我们像浏览器一样渲染JS处理的页面. 其中有一个比较常用的工具,那就是 PhantomJS Full web stack No browser required PhantomJS is a headless WebKit scriptable with a Ja

理解 Scroll Views

http://objccn.io/issue-3-2/ 可能你很难相信 UIScrollView 和一个标准的 UIView 差异并不大,scroll view 确实会多出一些方法,但这些方法只是和 UIView 的属性很好的结合到一起了.因此,在要想弄懂 UIScrollView 是怎么工作之前,你需要先了解一下 UIView,特别是视图渲染的两步过程. 光栅化和组合 渲染过程的第一部分是众所周知的光栅化(rasterization),光栅化简单的说就是产生一组绘图指令并且生成一张图片.比如绘

理解Scroll Views

可能你很难相信 UIScrollView 和一个标准的 UIView 差异并不大,scroll view 确实会多出一些方法,但这些方法只是和 UIView 的属性很好的结合到一起了.因此,在要想弄懂 UIScrollView 是怎么工作之前,你需要先了解一下 UIView,特别是视图渲染的两步过程. 光栅化和组合 渲染过程的第一部分是众所周知的光栅化(rasterization),光栅化简单的说就是产生一组绘图指令并且生成一张图片.比如绘制一个圆角矩形.带图片.标题居中的 UIButtons.

Understanding Scroll Views

文章出处:http://www.objc.io/issue-3/scroll-view.htmlIssue #3 Views, August 2013  By Joe Conway It may be hard to believe, but a UIScrollView isn’t much different than a standard UIView. Sure, the scroll view has a few more methods, but those methods are

使用jquery的load方法设计动态加载,并解决浏览器前进、后退、刷新等问题

继上一篇 使用jquery的load方法设计动态加载,并解决被加载页面JavaScript失效问题 解决了后台业务系统的部分动态加载问题,然而该框架离正常的用户体验还存在一些问题,如:浏览器的前进.后退.刷新等问题.有博友也遇到了同样的问题,接下来就针对浏览器的前进.后退.刷新进行用户体验优化. 在解决上述问题时也进行了各种search,但是大部分都是自己实现的插件,而且插件年久失修,对于新的jquery支持不佳.也有使用h5新加的history方法来实现的,由于HTML5的广泛使用,绝大部分主