Phantomjs和Casperjs,后台网页抓取和交互

var casper = require(‘casper‘).create({
    verbose: true,
    logLevel: ‘debug‘,
    pageSettings: {
         loadImages:  false,
         loadPlugins: true,
         userAgent: ‘Mozilla/5.0 (Windows NT 6.1; rv:17.0) Gecko/20100101 Firefox/17.0‘
    }
});
//phantom.outputEncoding="gbk";
casper.options.viewportSize = {width: 1680, height: 924};
casper.start(‘http://bulo.hujiang.com/app/login?source=nbulo&returnurl=/home/‘);
casper.waitForSelector("form#myform input[name=‘txtUsername‘]",
    function success() {
        this.test.assertExists("form input[name=‘txtUsername‘]");
        this.fill("form",{
            ‘txtUsername‘:‘shixiaobao17‘,
            ‘txtPassword‘:‘×××××your password*****‘
        },false);
        this.click("input#btnLogin");
    },
    function fail() {
        this.test.assertExists("form input[name=‘txtUsername‘]");
});

casper.waitFor(function check() {
    return this.getCurrentUrl().indexOf("bulo.hujiang.com/home")>-1;
}, function then() {
    console.log("登录成功!!!!!!!!!!!!");
}).then(function(){
    console.log("执行登录后的其它操作!!!!!!!!!!!!");
    if(this.exists("#btn_card_do")){
        this.click("#btn_card_do");
        this.waitForSelector("#my_hb_btn",function success(){
            console.log("打卡成功!");
        },function fail(){
            console.log("打卡失败!");
        });
    }else{
        console.log("今天已经打过卡啦!");
    }

});
casper.run(function() {this.test.renderResults(true);});

相关资料:http://casperjs.readthedocs.org/en/latest/modules/casper.html

时间: 2024-10-28 13:15:55

Phantomjs和Casperjs,后台网页抓取和交互的相关文章

基于Casperjs的网页抓取技术【抓取豆瓣信息网络爬虫实战示例】

CasperJS is a navigation scripting & testing utility for the PhantomJS (WebKit) and SlimerJS (Gecko) headless browsers, written in Javascript. PhantomJS是基于WebKit内核的headless browser SlimerJS则是基于Gecko内核的headless browser Headless browser: 无界面显示的浏览器,可以用于

php 新浪通行证、新浪微博模拟统一登录 (后台网页抓取版) 2016

前几天做了一个Java的新浪通行证模拟登录测试.现在给大家一个php的新浪通行证.微博登录的示例:具体都有备注,大家阅读代码吧. <?php /** * tom 2016年4月12日10:37:08 模拟微博登录 */ class login_weibo { // 微博用户名称密码 private $username = ''; private $password = ''; //请求cookie private $request_cookie = ''; //预登陆返回json private

一个实用的C#网页抓取类代码分享

一个实用的C# 网页抓取类 模拟蜘蛛,类中定义了超多的C#采集文章.网页抓取文章的基础技巧,下面分享代码: using System; using System.Data; using System.Configuration; using System.Net; using System.IO; using System.Text; using System.Collections.Generic; using System.Text.RegularExpressions; using Sys

用Python进行网页抓取

引言 从网页中提取信息的需求日益剧增,其重要性也越来越明显.每隔几周,我自己就想要到网页上提取一些信息.比如上周我们考虑建立一个有关各种数据科学在线课程的欢迎程度和意见的索引.我们不仅需要找出新的课程,还要抓取对课程的评论,对它们进行总结后建立一些衡量指标.这是一个问题或产品,其功效更多地取决于网页抓取和信息提取(数据集)的技术,而非以往我们使用的数据汇总技术. 网页信息提取的方式 从网页中提取信息有一些方法.使用API可能被认为是从网站提取信息的最佳方法.几乎所有的大型网站,像Twitter.

网页抓取:PHP实现网页爬虫方式小结

来源:http://www.ido321.com/1158.html 抓取某一个网页中的内容,需要对DOM树进行解析,找到指定节点后,再抓取我们需要的内容,过程有点繁琐.LZ总结了几种常用的.易于实现的网页抓取方式,如果熟悉JQuery选择器,这几种框架会相当简单. 一.Ganon 项目地址: http://code.google.com/p/ganon/ 文档: http://code.google.com/p/ganon/w/list 测试:抓取我的网站首页所有class属性值是focus的

淘搜索之网页抓取系统分析与实现(2)—redis + scrapy

1.scrapy+redis使用 (1)应用 这里redis与scrapy一起,scrapy作为crawler,而redis作为scrapy的调度器.如架构图中的②所示.图1 架构图 (2)为什么选择redis redis作为调度器的实现仍然和其特性相关,可见<一淘搜索之网页抓取系统分析与实现(1)--redis使用>(http://blog.csdn.net/u012150179/article/details/38226711)中关于redis的分析. 2.redis实现scrapy sc

用python做网页抓取与解析入门笔记[zz]

(from http://chentingpc.me/article/?id=961) 事情的起因是,我做survey的时候搜到了这两本书:Computational Social Network Analysis和Computational Social Network,感觉都蛮不错的,想下载下来看看,但是点开网页发现这个只能分章节下载,晕,我可没时间一章一章下载,想起了迅雷的下载全部链接,试试看,果真可以把他们一网打尽,但是,sadly,迅雷下载的时候,文件名没办法跟章节名对应起来,晕,我可

网页抓取

### -*- coding: cp936 -*-###<a href="http://home.51cto.com" target="_blank">家园</a>##import urllib##str0='<a href="http://home.51cto.com" target="_blank">家园</a>'##href=str0.find('<a href')#

网页抓取与处理的一些方法

昨天还是2014,今天就变成了2015.时间总是那么快,这篇文章就作为2015年的一个开始吧. 这篇文章主要介绍一些网页抓取及抓取下来的内容处理. 所需要的jar包点击打开链接,我放在百度云盘里.有需要的可以下载,其他的请自行下载. 百度百科对网页抓取的定义,当然本文并没有介绍的那么多,只是介绍对单个页面的抓取,和模拟提交表单抓取页面,如需深究,请自行baidu or google. 上面的方法直接返回String字符串,只需传入一个链接即可.相信大家都看的懂. 那么获取到的String字符串,