python requests 带cookie访问页面

背景:
获取需要登录的页面,可在登陆后将获取到的cookie添加到请求的脚本中。

方法:

import requests
url="http://webserver/admin"

cookies = dict(cookies_are=‘cookie内容‘)

##cookie内容可在登陆页面后,通过浏览器工具()获取。

response = requests.get(url, cookies=cookies)

print response.content.decode("utf-8")

这样就可以获取登陆后的网页源代码。

如果要模拟的更真实点,加上user agent会更好些。
my_headers = {‘User-Agent‘ : ‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2526.80 Safari/537.36 Core/1.45.933.400 QQBrowser/9.0.8699.400‘, ‘Accept-Encoding‘ : ‘gzip, deflate, sdch‘}

response = requests.get(url, cookies=cookies,headers=my_headers)

print response.content.decode("utf-8")

只要不被专门盯上,一般应该会被服务器当做正常访问来对待的。

时间: 2024-10-22 13:45:34

python requests 带cookie访问页面的相关文章

python requests 的cookie 操作

结论: 1.requests模块的请求和响应分别有cookie对象. 可以通过此对象设置和获取cookie. 2.通过在requests.get,requests.post等方法请求中传入cookies字典参数 只用于单次请求的cookie设置. 3. request.session() 返回保持会话的对象.Provides cookie persistence, connection-pooling, and configuration. 1. 请求的cookie设置和获取 方式一: 参数传入

scrapy带cookie登录简单的网站

在爬数据的时候,登录一直是一个比较麻烦的问题.我也一直在网上找过各种资料,都挺麻烦的,因为需要分析各种http过程,感觉太麻烦了. 不过最近在一个同学的帮助下,找到了使用cookie登录的方法.因为带cookie登录的话,server会认为你是一个已登录的用户,所以就会返回给你一个已登录的内容 本文介绍的方法,是使用python的scrapy框架登录的方法.而且也只能登录一些比较简单的网站,对于那种大型的网站,因为目前我也还没有验证过,所以不敢保证.但是经过验证,登录豆瓣是万试万灵的. 1. 获

Python网络爬虫---使用已登录的cookie访问需要登录的网页

使用已登录的Cookie访问登录的网站在网络爬虫中经常使用 1.使用浏览器手动登录网站,点击你需要访问的页面,比如我想访问的资源地址是 http://27.24.159.151:8005/student/GradeQueryPersonal.aspx 访问之后,使用F12启动调试 可以看到访问该资源地址的所需要的Cookie信息 2.开始编码,使用Python2.7的自带的urllib2模块发送带cookie信息的请求头去访问对应的资源地址 #-*-coding:utf-8-*- ''' 登录教

python 携带cookie获取页面内容

有时会遇到爬取的页面需要登录,这就要带上cookie了. 下面记录了几种携带cookie的方法 # coding=utf-8 import requests s = requests.Session() login_data = {'username': 'teacher', 'password': 'teacher'} # 方法1 # resp1 = s.post('http://192.168.2.132/login/', data=login_data) # r = s.get('http

python 携带cookie访问网站(python接口测试post)

最近在使用自己研究性能测试工具的时候想到,使用python向服务器不断发送数据以作为并发测试.大概情况如下: #coding=utf-8 import urllib2 import urllib import cookielib import os import threading import time class HB:def add_cookie_login(self,username): self.user = username cookiejar = cookielib.CookieJ

HttpHelps类,用来实现Http访问,Post或者Get方式的,直接访问,带Cookie的,带证书的等方式,可以设置代理

原文地址:http://blog.csdn.net/cdefg198/article/details/8315438 <span style="font-family:Microsoft YaHei;">/// <summary> /// 类说明:HttpHelps类,用来实现Http访问,Post或者Get方式的,直接访问,带Cookie的,带证书的等方式,可以设置代理 /// 编码日期:2011-09-20 /// 编 码 人:苏飞 /// 联系方式:361

php 带cookie采集某页面

<?php error_reporting(0); define("temp_dir", dirname(__FILE__)."/Public/"); define("U", "11111");//$_GET['e']; define("P", "mima"); $dlfk=login(U, P); echo $dlfk; //登陆 $bbb=friendshow(); $bbb

Python+Requests接口测试教程(1):Fiddler抓包工具

本书涵盖内容:fiddler.http协议.json.requests+unittest+报告.bs4.数据相关(mysql/oracle/logging)等内容.刚买须知:本书是针对零基础入门接口测试和python+requests自动化的,首先本书确实写的比较基础,对基础内容也写的很详细,所以大神绕道. 为什么要先学fiddler? 学习接口测试必学http协议,如果直接先讲协议,我估计小伙伴们更懵,为了更好的理解协议,先从抓包开始.结合抓包工具讲http协议更容易学一些. 1.1 抓fir

Python requests 自动登录某财BBS,自动签到打卡领铜钱,最后再配个plist,每天自动执行

某财的用户应该都知道这个网站,在"签到有礼"版块,每天会有一贴,用帖子中给出的关键字回帖,得铜钱,据说铜钱可以换现金,还可以换书. 真好,裸辞在家的失业人员最需要这个-每天领之. 基本思路: 先用抓包工具仔细分析下登陆以及回帖时post了哪些数据,这些数据从何而来(我用的Firefox + Firebug,挺好用的,选上保持+全部,就算页面重定向,所有的请求也都能看到): python requests库,用requests.Session().post来登陆和回帖,用get来读取页面