phantomjs 开发爬虫框架

函数

  • page.childframescount
  • page.childframesname
  • page.close
  • page.currentframename
  • page.deletelater
  • page.destroyed
  • page.evaluate
  • page.initialized
  • page.injectjs
  • page.javascriptalertsent
  • page.javascriptconsolemessagesent
  • page.loadfinished
  • page.loadstarted
  • page.openurl
  • page.release
  • page.render
  • page.resourceerror
  • page.resourcereceived
  • page.resourcerequested
  • page.uploadfile
  • page.sendevent
  • page.setcontent
  • page.switchtochildframe
  • page.switchtomainframe
  • page.switchtoparentframe
  • page.addcookie
  • page.deletecookie
  • page.clearcookies

回调处理程序/

列表中的所有页面的事件：

  • oninitialized
  • onloadstarted
  • onloadfinished
  • onurlchanged
  • onnavigationrequested
  • onrepaintrequested
  • onresourcerequested
  • onresourcereceived
  • onresourceerror
  • onresourcetimeout
  • onalert
  • onconsolemessage
  • onclosing
page.onInitialized = function() {
  console.log("page.onInitialized");
  printArgs.apply(this, arguments);
  };
  page.onLoadStarted = function() {
  console.log("page.onLoadStarted");
  printArgs.apply(this, arguments);
  };
  page.onLoadFinished = function() {
  console.log("page.onLoadFinished");
  printArgs.apply(this, arguments);
  };
  page.onUrlChanged = function() {
  console.log("page.onUrlChanged");
  printArgs.apply(this, arguments);
  };
  page.onNavigationRequested = function() {
  console.log("page.onNavigationRequested");
  printArgs.apply(this, arguments);
  };
  page.onRepaintRequested = function() {
  console.log("page.onRepaintRequested");
  printArgs.apply(this, arguments);
  };
   
  if (logResources === true) {
  page.onResourceRequested = function() {
  console.log("page.onResourceRequested");
  printArgs.apply(this, arguments);
  };
  page.onResourceReceived = function() {
  console.log("page.onResourceReceived");
  printArgs.apply(this, arguments);
  };
  }
   
  page.onClosing = function() {
  console.log("page.onClosing");
  printArgs.apply(this, arguments);
  };
   
  // window.console.log(msg);
  page.onConsoleMessage = function() {
  console.log("page.onConsoleMessage");
  printArgs.apply(this, arguments);
  };
   
  // window.alert(msg);
  page.onAlert = function() {
  console.log("page.onAlert");
  printArgs.apply(this, arguments);
  };
  // var confirmed = window.confirm(msg);
  page.onConfirm = function() {
  console.log("page.onConfirm");
  printArgs.apply(this, arguments);
  };
  // var user_value = window.prompt(msg, default_value);
  page.onPrompt = function() {
  console.log("page.onPrompt");
  printArgs.apply(this, arguments);
  };
   
  ////////////////////////////////////////////////////////////////////////////////
   
  setTimeout(function() {
  console.log("");
  console.log("### STEP 1: Load ‘" + step1url + "‘");
  page.open(step1url);
  }, 0);
   
  setTimeout(function() {
  console.log("");
  console.log("### STEP 2: Load ‘" + step2url + "‘ (load same URL plus FRAGMENT)");
  page.open(step2url);
  }, 5000);
   
  setTimeout(function() {
  console.log("");
  console.log("### STEP 3: Click on page internal link (aka FRAGMENT)");
  page.evaluate(function() {
  var ev = document.createEvent("MouseEvents");
  ev.initEvent("click", true, true);
  document.querySelector("a[href=‘#Event_object‘]").dispatchEvent(ev);
  });
  }, 10000);
   
  setTimeout(function() {
  console.log("");
  console.log("### STEP 4: Click on page external link");
  page.evaluate(function() {
  var ev = document.createEvent("MouseEvents");
  ev.initEvent("click", true, true);
  document.querySelector("a[title=‘JavaScript‘]").dispatchEvent(ev);
  });
  }, 15000);
   
  setTimeout(function() {
  console.log("");
  console.log("### STEP 5: Close page and shutdown (with a delay)");
  page.close();
  setTimeout(function(){
  phantom.exit();
  }, 100);
  }, 20000);

网络监控

var page = require(‘webpage‘).create();
page.onResourceRequested = function(request) {
  console.log(‘Request ‘ + JSON.stringify(request, undefined, 4));
};
page.onResourceReceived = function(response) {
  console.log(‘Receive ‘ + JSON.stringify(response, undefined, 4));
};
page.open(url);
时间： 2024-10-12 16:21:44

phantomjs 开发爬虫框架的相关文章

记一次爬虫框架的开发经历

爬虫是我看过的所有程序中最酷的,因为爬虫可以真正帮你完成一些费事繁琐的工作,比如搜集图片. 咳咳~因为某个网站会把图片打包成种子,发布,并且提供下载,对于老司机来说是省时省力的事情,但是种子是会失效的.有一些很想看的图集想看但是种子失效了,这时候会让人很尴尬,还好,种子没了但是官网图片还在!所以当时就想要是自己写一个爬虫去帮我完成这些另存为图片的工作就好了. 我是想也没想,自己开始筹划. 开始的第一步自然而然是收集一些网页的前端代码(也就是在浏览器里面右键->网页源代码里面查看).因为我要知道这

开发网络爬虫应该怎样选择爬虫框架？

有些人问,开发网络爬虫应该选择Nutch.Crawler4j.WebMagic.scrapy.WebCollector还是其他的?这里按照我的经验随便扯淡一下: 上面说的爬虫,基本可以分3类: 1.分布式爬虫:Nutch 2.JAVA单机爬虫:Crawler4j.WebMagic.WebCollector 3. 非JAVA单机爬虫:scrapy 第一类:分布式爬虫         爬虫使用分布式,主要是解决两个问题: 1)海量URL管理 2)网速 现在比较流行的分布式爬虫,是Apache的Nut

webmagic的是一个无须配置、便于二次开发的爬虫框架

webmagic的是一个无须配置.便于二次开发的爬虫框架,它提供简单灵活的API,只需少量代码即可实现一个爬虫. 以下是爬取oschina博客的一段代码: ? 1 2 Spider.create(new SimplePageProcessor("http://my.oschina.net/", "http://my.oschina.net/*/blog/*")).thread(5).run(); webmagic采用完全模块化的设计,功能覆盖整个爬虫的生命周期(链接

开发网络爬虫应该如何选择爬虫框架？

有些人问,开发网络爬虫应该选择Nutch.Crawler4j.WebMagic.scrapy.WebCollector还是其它的?这里依照我的经验随便扯淡一下: 上面说的爬虫,基本能够分3类: 1.分布式爬虫:Nutch 2.JAVA单机爬虫:Crawler4j.WebMagic.WebCollector 3. 非JAVA单机爬虫:scrapy 第一类:分布式爬虫         爬虫使用分布式.主要是解决两个问题: 1)海量URL管理 2)网速 如今比較流行的分布式爬虫,是Apache的Nut

Python3网络爬虫实战-10、爬虫框架的安装：PySpider、Scrapy

我们直接用 Requests.Selenium 等库写爬虫,如果爬取量不是太大,速度要求不高,是完全可以满足需求的.但是写多了会发现其内部许多代码和组件是可以复用的,如果我们把这些组件抽离出来,将各个功能模块化,就慢慢会形成一个框架雏形,久而久之,爬虫框架就诞生了. 利用框架我们可以不用再去关心某些功能的具体实现,只需要去关心爬取逻辑即可.有了它们,可以大大简化代码量,而且架构也会变得清晰,爬取效率也会高许多.所以如果对爬虫有一定基础,上手框架是一种好的选择. 本书主要介绍的爬虫框架有PySpi

教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神

欢迎加入Python学习交流群:535993938  禁止闲聊 ! 名额有限 ! 非喜勿进 ! 本博文将带领你从入门到精通爬虫框架Scrapy,最终具备爬取任何网页的数据的能力.本文以校花网为例进行爬取,校花网:http://www.xiaohuar.com/,让你体验爬取校花的成就感. Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据.Scrapy用途广泛,可以用于数据挖掘.监测和自动化测试. Scrapy吸引人的地方在于

Python爬虫进阶一之爬虫框架概述

综述 爬虫入门之后,我们有两条路可以走. 一个是继续深入学习,以及关于设计模式的一些知识,强化Python相关知识,自己动手造轮子,继续为自己的爬虫增加分布式,多线程等功能扩展.另一条路便是学习一些优秀的框架,先把这些框架用熟,可以确保能够应付一些基本的爬虫任务,也就是所谓的解决温饱问题,然后再深入学习它的源码等知识,进一步强化. 就个人而言,前一种方法其实就是自己动手造轮子,前人其实已经有了一些比较好的框架,可以直接拿来用,但是为了自己能够研究得更加深入和对爬虫有更全面的了解,自己动手去多做.

高效敏捷的Java爬虫框架SeimiCrawler示例

SeimiCrawler是一个强大的,高效敏捷的,支持分布式的爬虫开发框架,希望能在最大程度上降低新手开发一个可用性高且性能不差的爬虫系统的门槛,以及提升开发爬虫系统的开发效率.在SeimiCrawler的世界里,绝大多数人只需关心去写抓取的业务逻辑就够了,其余的Seimi帮你搞定.设计思想上SeimiCrawler受Python的爬虫框架Scrapy启发很大,同时融合了Java语言本身特点与Spring的特性,并希望在国内更方便且普遍的使用更有效率的XPath解析HTML,所以SeimiCra

python爬虫框架 — Scrappy

Python爬虫框架有很多种,可是我们经常谈论使用的却屈指可数,今天就给大家谈谈Python爬虫框架--Scrapy是一个快速.高层次.轻量级的屏幕抓取和web抓取python爬虫框架,主要用于抓取特定web站点的信息并从页面中提取结构化的数据. 由于Scrapy的框架特性,也支持开发者根据自己的需求对框架进行修改,方便开发者开发出更适合的python爬虫.除此之外,Scrapy还提供了多 种类型的爬虫基类,包括BaseSpider.sitemap爬虫等等,最新版本同时也提供了web2.0爬虫的