关于requests的session方法保持不了cookie的问题。

最近在做爬虫的时候遇到了一个问题,在用requests的session方法保持cookie的时候发现requests不能保持手动构建的cookie。起初以为requests只能自动保持由服务器返回的set-cookie语句中的cookie。后来查了很多资料,才终于明白。原来requests只能保持 cookiejar 类型的cookie,而我们手动构建的cookie是dict类型的。所以要把dict转为 cookiejar类型,于是我又在网上查,在几乎打算放弃的时候终于找到了一个把dict转为cookiejar的方法,如下:

#将CookieJar转为字典:
cookies = requests.utils.dict_from_cookiejar(r.cookies)

#将字典转为CookieJar:
cookies = requests.utils.cookiejar_from_dict(cookie_dict, cookiejar=None, overwrite=True)

#其中cookie_dict是要转换字典

转换完之后就可以把它赋给cookies 并传入到session中了:

s = requests.Session()
s.cookies = cookies

以上代码是我在下面这个网站上查到的,感谢这个博客的作者!这篇文章上还介绍了一些官方文档中没有提到的方法。

—————————-以下是原文——————————— 
原文地址:http://www.lihuai.net/program/python/1617.html

原文地址:  http://blog.csdn.net/falseen/article/details/46962011

自己尝试:

也可以把headers这个请求头直接转成cookiejar类型放入cookies里面,尝试了成功执行

时间: 2024-10-29 03:51:51

关于requests的session方法保持不了cookie的问题。的相关文章

Hibernate之Session方法

对象的状态: Session中  数库中 ----------------------- 临时 无无 持久化 有最终会有 游离 无有 删除 调用了delete()方法后 1,操作实体对象的Session方法 save() update() saveOrUpdate() delete() 2,操作缓存的Session方法 clear() 清空Session缓存,不会执行sql语句. evict() flush() 马上执行sql语句,不会清楚Session缓存. 3,查询实体对象的Session方

Struts2获取Session方法

Struts2里面有三种方法可以获取request,最好使用ServletRequestAware接口通过IOC机制注入Request对象. 方法1:IOC方式action类实现SessionAware接口,并创建一个MAP对象sessionpublic class UserLoginAction extends ActionSupport implements ServletRequestAware,SessionAware{ public void setServletRequest(Htt

if判断条件,session方法等

if条件判断中,0,NULL,''都是false session方法 session('_userID', $userInfo['userID']); //切换数据库 $infoClass = M()->db(1,C('DB_CONFIG_SYN'))->table('syn_userinfo'); //字符串替换<?phpecho strtr("Hilla Warld","ia","eo");?> 输出:Hello Wo

ThinkPHP函数详解:session方法

Session方法用于Session 设置.获取.删除和管理操作. Session 用于Session 设置.获取.删除和管理操作 用法 session($name, $value='') 参数 name(必须):如果传入数组 则表示进行session初始化,如果传入null表示清空当前session,如果是字符串则表示session赋值.获取或者操作.Value(可选):要设置的session值,如果传入null表示删除session,默认为空字符串 返回值 见详(根据具体的用法返回不同的值)

常用代码块模板,get,load区别,session.get(,)参数解释,session方法总结

设置模板代码步骤:window->java->Templates->new模板代码Session session = HibernateUtils.openSession(); try { HibernateUtils.startTransaction(); /** * 具体的业务代码 */ HibernateUtils.commitTransaction(); } catch (Exception e) { HibernateUtils.rollBackTransaction(); t

爬虫requests库的方法与参数

爬虫requests库的方法与参数 import requests """ # 1. 方法 requests.get requests.post requests.put requests.delete ... requests.request(method='POST') """ # 2. 参数 """ 2.1 url 2.2 headers 2.3 cookies 2.4 params 2.5 data,传请求体

python requests函数封装方法

python  requests函数封装方法 上代码 1 import requests 2 import json 3 4 """ 5 封装request请求, 6 1.post:my_post 7 2.get:my_get 8 3.返回code:get_code(res) 9 4.返回json:get_json(res) 10 5.返回text:get_text(res) 11 6.响应时间:get_time(res) 12 7.请求header:get_header(a

[06] Session实现机制以及和Cookie的区别

1.为什么有Session和Cookie 根据早期的HTTP协议,每次request-reponse时,都要重新建立TCP连接.TCP连接每次都重新建立,所以服务器无法知道上次请求和本次请求是否来自于同一个客户端.因此,HTTP通信是无状态的.服务器认为每次请求都是一个全新的请求,无论该请求是否来自同一地址. 但是这也带来了问题,假如不使用Session或Cookie,那么就意味着假如你登录了某个购物网站,你的每次请求因为无状态,购物网站的服务器都无法判断你的身份和登陆与否,意味着为了保持登陆你

session的官方定义是:Session:在计算机中,尤其是在网络应用中,称为“会话控制”。Session 对象存储特定用户会话所需的属性及配置信息。 说白了session就是一种可以维持服务器端的数据存储技术。session主要有以下的这些特点: 1. session保存的位置是在服务器端 2. session一般来说是要配合cookie使用,如果是浏览器禁用了cookie功

session的官方定义是:Session:在计算机中,尤其是在网络应用中,称为"会话控制".Session 对象存储特定用户会话所需的属性及配置信息. 说白了session就是一种可以维持服务器端的数据存储技术.session主要有以下的这些特点: 1. session保存的位置是在服务器端 2. session一般来说是要配合cookie使用,如果是浏览器禁用了cookie功能,也就只能够使用URL重写来实现session存储的功能 3. 单纯的使用session来维持用户状态的话