Cookies 模拟登录

#coding=utf-8

import requests
from lxml import etree
from multiprocessing.dummy import Pool

cook={"Cookie":"your cookies"}
url =‘http://weibo.cn/u/uid‘

#html=requests.get(url).content
#print html

html=requests.get(url,cookies=cook).content

#html=requests.get(url,cookies=cook).text
#html=bytes(bytearray(html,encoding=‘utf-8‘))

selector = etree.HTML(html)
content =selector.xpath(‘//span[@class="ctt"]‘)
for each in content:
    text=each.xpath(‘string(.)‘)
    b = 1
    print text

运行结果:

方法一:

html=requests.get(url,cookies=cook).content

方法二:

html=requests.get(url,cookies=cook).text
html=bytes(bytearray(html,encoding=‘utf-8‘))

极客课程--定向爬虫:简单的模拟登录   http://www.jikexueyuan.com/course/995.html

核心内容:

1.Fiddler 的介绍和使用

2.Fiddler 抓取分析数据包

3.已知 Cookies 登录新浪微博

4.Requests 模拟登录

时间: 2024-08-05 18:54:25

Cookies 模拟登录的相关文章

PHP CURL获取cookies模拟登录的方法

要提取google搜索的部分数据,发现google对于软件抓取它的数据屏蔽的厉害,以前伪造下 USER-AGENT 就可以抓数据,但是现在却不行了.利用抓包数据发现,Google 判断了 cookies,当你没有cookies的时候,直接返回 302 跳转,而且是连续几十个302跳转,根本抓不了数据. 因此,在发送搜索命令时,需要先提取 cookies 并保存,然后利用保存下来的这个cookies再次发送搜索命令即可正常抓数据了.这其实和论坛的模拟登录一个道理,先POST登录,获取cookies

基于cookies模拟登录

cookies是什么 ? cookies是服务器放在用户机器上的一小块信息. cookies用来保存登录信息,这样用户就不用每次从同一台机器访问页面都要再次输入登录信息 cookie的成分 名称.值(必需):域(网站不能访问其他域生成的cookie).路径(将cookie的访问权限控制在服务器中的特定目录).失效日期(规定cookie何时应该删除,默认下关闭浏览器时就会删除cookie,也可以自己设置删除时间).安全标志(true还是false) 如何获取cookies? 通过burpsuite

Android利用HttpURLConnection实现模拟登录

最近在做一个APP,需要模拟登录教务处,之前曾经用HttpClient做过,点这里,但是发现最新的Android SDK已经不支持Httpclient了,所以只好在琢磨一下HttpURLConnection实现了,其中一个问题浪费了不少时间,下面这行代码一旦添加就无法登录: httpURLConnection.setRequestProperty("Content-Type","text/html; charset=GBK"); 贴一下效果,由于是实现模拟登录,就没

.net模拟登录博客园,使用httpWebRequest登录并发布随笔文章

using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Net; using System.IO; using System.Runtime.InteropServices; using System.Diagnostics; namespace TestHttpWebRequest { class Program { [DllImport("winine

C# 实现模拟登录功能,实现公共类分享。

前言 最近在研究模拟登录的各种方法, 主要想要实现的两个功能是: 1.点击按钮可以直接跳转并登录到某一个系统中. 2.抓取某一个系统中某一个页面中的特定数据. 为此在网上查了许多的资料,首先了解到自身对http协议基础知识的欠缺,初步了解后,明白想要实现模拟登录首先要学会抓包这一项基本的技能,关于抓包这里就不详细介绍了,向大家推荐一款软件fiddler,一款不错的抓包软件. 首先客户端向服务端请求无非两种类型get或post,所以我们要了解在登录某一个系统时post的地址,以及需要post的参数

python RSA加密解密及模拟登录cnblog

1.公开密钥加密 又称非对称加密,需要一对密钥,一个是私人密钥,另一个则是公开密钥.公钥加密的只能私钥解密,用于加密客户上传数据.私钥加密的数据,公钥可以解密,主要用于数字签名.详细介绍可参见维基百科. 2.RSA加密算法 RSA加密属于非对称加密.RSA算法基于一个十分简单的数论事实:将两个大质数相乘十分容易,但是想要对其乘积进行因式分解却极其困难,因此可以将乘积公开作为加密密钥.维基百科中对RSA算法的安全性进行说明:RSA加密算法 "对极大整数做因式分解的难度决定了RSA算法的可靠性.换言

HttpClient + Jsoup模拟登录教务处并获取课表

1.概述 最近想做一个校园助手类的APP,由于第一次做,所以打算先把每个功能单独实现,防止乱了阵脚.利用教务处登录获取课表和成绩等是一个基本功能,所以以获取课表为例实现了这个功能.完整代码点这里,尝试了好几次的,所以写的比较乱. 2.涉及的关键知识 首先,明确获取课表的流程:其实,获取课表就是让手机模拟浏览器,给服务器传去账号.密码,然后服务器会返回cookies(不懂自行百度),利用cookie就可以穿梭自如了,比如查课表.但是,浏览器登录时,返回的html文件浏览器是会自动解析成网页展现在我

HttpWebRequest 模拟登录响应点击事件(开源自己用的HttpHelper类)

平时也经常采集网站数据,也做模拟登录,但一般都是html控件POST到页面登录:还没有遇到用户服务器控件button按钮点击事件登录的,今天像往常一样POST传递参数,但怎么都能登录不了:最后发现还有两个参数需要传,__EVENTVALIDATION和__VIEWSTATE 在传的过程中需要对参数值进行URL编码 System.Web.HttpUtility.UrlEncode(value) 模拟登录代码:在本地写的一个测试的网站来模拟登录,原理都一样: Request request = ne

C# WebBrowser控件 模拟登录 抓取数据

参考博客:C#中的WebBrowser控件的使用 参考博客:C#中利用WebBrowser控件,获得HTML源码 一.问题点: 1.模拟登录后,如果带有嵌套的iframe嵌套,不好读取iframe内容,可以直接指定iframe抓取网址 2.C# 清除WebBrowser控件的Session和Cookie 参考文档:http://www.360doc.com/content/14/0810/12/9200790_400769010.shtml 代码如下: [DllImport("wininet.d