python+requests——高级用法——处理cookie——重点

参考网址:https://www.cnblogs.com/xiaobaibailongma/p/12346091.html

import  requests

url = ‘http://www.baidu.com‘

resp = requests.get(url)

print(resp.cookies)

print(‘============================================================‘)

for k,v in resp.cookies.items():
    print(k,‘=‘,v)

执行结果:

<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>
============================================================
BDORZ = 27315

===================================================================================================================

使用python的requests开发爬虫程序的时候,经常需要将之前请求返回的cookie值作为下一个请求的cookie进行调用,

比如模拟登录之后的返回的sessionID,就是需要作为后续请求的cookie参数

分成三步走:

  1、通过requests模块导入  from requests.cookies import RequestsCookieJar

  2、进行实例化:jar = RequestsCookieJar()

  3、进行设置: jar.set(cookie[‘name‘], cookie[‘value‘])

  

完成之后就可以在直接在请求网页源文件的时候,将这个cookie带上一起发送请求了

import  requests
from requests.cookies import RequestsCookieJar

url = ‘http://www.baidu.com‘

resp = requests.get(url)

print(resp.cookies)

print(‘============================================================‘)

for k,v in resp.cookies.items():
    print(k,‘=‘,v)

print(‘============================================================‘)

jar = RequestsCookieJar()

jar.set(‘BDORZ‘, ‘27315‘)

r = requests.get(url,cookies=jar)

print(r.status_code)

执行结果:

<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>
============================================================
BDORZ = 27315
============================================================
200

===========================================================================================

原文地址:https://www.cnblogs.com/xiaobaibailongma/p/12355292.html

时间: 2024-07-30 23:27:00

python+requests——高级用法——处理cookie——重点的相关文章

python+requests——高级用法——代理和认证——重点

原文地址:https://www.cnblogs.com/xiaobaibailongma/p/12355323.html

python requests 高级用法 -- 包括SSL 证书错误的解决方案

Session Objects会话对象 Session对象在请求时允许你坚持一定的参数.此外,还坚持由Session实例的所有请求的cookie. 让我们坚持在请求时使用 s = requests.Session() s.get('http://httpbin.org/cookies/set/sessioncookie/123456789') r = s.get("http://httpbin.org/cookies") print r.text # '{"cookies&q

python+requests——高级用法——将请求打包

原文地址:https://www.cnblogs.com/xiaobaibailongma/p/12355350.html

python+requests——高级用法——超时

原文地址:https://www.cnblogs.com/xiaobaibailongma/p/12355339.html

python+requests——高级用法——会话——重点源码

参考:http://2.python-requests.org/zh_CN/latest/user/advanced.html#advanced 参考:http://2.python-requests.org/zh_CN/latest/api.html#sessionapi 原文地址:https://www.cnblogs.com/xiaobaibailongma/p/12355360.html

requests高级用法

代理proxies 数据采集过程中使用脚本发送请求,请求次数过于频繁,服务器监测到而采用一定的手段禁止此ip的请求,为了解决封ip的问题,我们用代理来处理这个问题.用第三方代理ip进行伪装访问,即使被封也不影响当前ip的使用,构建代理池,封了一个,其他的还可以用,这样就能缓解ip被封无法继续爬取的问题. ip代理获取:智联代理.全网代理.快代理.西刺代理等. 代理匿名度: (1)透明:目标服务器知道请求使用了代理服务器,同时能监测到真实的请求ip (2)匿名:目标服务器知道请求使用了代理服务器,

Python Requests 高级

目录 1.文件上传功能 2.cookie处理 3.会话维持与模拟登陆 4.SSL证书验证 5.代理设置 6.超时设置 7.构建Request对象 8.urllib简单介绍 9.正则介绍 10.校花网图片爬取与多页爬取 1. 文件上传功能 #用的少---应用场景(可以当时上传文件) import requests # 定义上传文件数据, 键为file, 值为文件句柄 files = { 'file': open('favicon.ico', 'rb') } #指定网址,指定字段 r = reque

走入计算机的第三十七天(python的高级用法)

一.Event 1.为什么会有Event? 线程的一个关键特性就是每个线程的运行都是独立运行且状态不可预测.如果程序中的线程需要通过别的线程的状态来判断自己线程中的 某个程序是否需要执行,那么Event就产生了. 2.Event的作用? threading库中Event对象主要是通过判断自己线程中的Event对象来判断是否唤醒所等待这个Event对象的线程,Event对象包含一个可由 线程设置的信号标志,默认情况下该信号标志为假,如果有别的线程等待这个Event对象时,当他为假时那么这些被等待的

python requests包用法

1 先创建session , 设置header. 调用get()函数 s = requests.session() headers = { 'Accept':'image/webp,image/*;q=0.8', 'User-Agent':'News/6.9.8.36 CFNetwork/975.0.3 Darwin/18.2.0', 'Accept-Language':'zh-cn' } s.headers.update(headers) s.get(url=url,params=params