Python模块-requests(二)

  • 会话对象

会话对象能够跨请求保持某些参数。

它也会在同一个 Session 实例发出的所有请求之间保持 cookie, 期间使用 urllib3 的 connection pooling 功能。

所以如果向同一主机发送多个请求,底层的 TCP 连接将会被重用,从而带来显著的性能提升。

会话对象具有主要的 Requests API 的所有方法。

包含在会话中的数据都能直接使用

跨请求保持cookie:

>>> import requests
>>> s = requests.session()
>>> s.get(‘http://httpbin.org/cookies/set/sessioncookie/123456789‘)
<Response [200]>
>>> r = s.get("http://httpbin.org/cookies")
>>> print(r.text)
{
  "cookies": {
    "sessioncookie": "123456789"
  }
}

会话也可用来为请求方法提供缺省数据。

这是通过为会话对象的属性提供数据来实现的:

>>> s = requests.session()
>>> s.headers.update({‘test‘: ‘true‘})
>>> s.headers.update({‘test1‘: ‘false‘})
>>> s.get(‘http://httpbin.org/headers‘, headers={‘test1‘: ‘true‘})
<Response [200]>
>>> s.headers
{‘User-Agent‘: ‘python-requests/2.18.4‘, ‘Accept-Encoding‘: ‘gzip, deflate‘, ‘Accept‘: ‘*/*‘, ‘Connection‘: ‘keep-alive‘, ‘test‘: ‘true‘, ‘test1‘: ‘false‘}

test和test1的数据都会被发送

任何传递给请求方法的字典都会与已设置会话层数据合并,方法层的参数会覆盖会话的参数。

方法级别的参数也不会被跨请求保持

>>> s = requests.session()
>>> r = s.get(‘http://httpbin.org/cookies‘, cookies={‘from-my‘: ‘browser‘})
>>> print(r.text)
{
  "cookies": {
    "from-my": "browser"
  }
}

>>> r = s.get(‘http://httpbin.org/cookies‘)
>>> print(r.text)
{
  "cookies": {}
}

获取的cookie是第一个不是第二个

如果要手动为会话添加 cookie,就使用 Cookie utility 函数 来操纵 Session.cookies

会话还可以用作前后文管理器:

>>> with requests.session() as s:
...     s.get(‘http://httpbin.org/cookies/set/sessioncookie/123456789‘)
...
<Response [200]>

这样就能确保with区块退出后会话能被关闭,即使发生了异常也一样。

如果要省略字典参数中一些会话层的键。只需在方法层参数中将那个键的值设置为None ,那个键就会被自动省略掉。

  • 请求与响应对象

>>> r = requests.get(‘http://httpbin.org/get‘)
>>> r.headers #服务器返回的响应头部信息
{‘Connection‘: ‘keep-alive‘, ‘Server‘: ‘meinheld/0.6.1‘, ‘Date‘: ‘Fri, 09 Feb 2018 13:09:33 GMT‘, ‘Content-Type‘: ‘application/json‘, ‘Access-Control-Allow-Origin‘: ‘*‘, ‘Access-Control-Allow-Credentials‘: ‘true‘, ‘X-Powered-By‘: ‘Flask‘, ‘X-Processed-Time‘: ‘0.000726938247681‘, ‘Content-Length‘: ‘265‘, ‘Via‘: ‘1.1 vegur‘}
>>> r.request.headers #发送到服务器的请求的头部信息
{‘User-Agent‘: ‘python-requests/2.18.4‘, ‘Accept-Encoding‘: ‘gzip, deflate‘, ‘Accept‘: ‘*/*‘, ‘Connection‘: ‘keep-alive‘}
  • SSL证书验证

SSL验证默认是开启的,如果证书验证失败,requests会抛出SSLError的错误

可以通过verify参数来解决

给verify传入CA_BUNDLE文件的路径,或者包含可信任CA证书文件的文件夹路径

>>> requests.get(‘https://httpbin.org/get‘, verify=‘/path/to/certfile‘)

也可以把证书包含在会话中

s = requests.session()
s.verify = ‘/path/to/certfile‘

如果verify设为文件夹路径,文件夹必须通过OpenSSL提供的c_rehash工具处理

还可以通过REQUESTS_CA_BUNDLE环境变量定义可信任CA列表

verify参数仅用于主机证书,对于私有证书,可以传递一个 CA_BUNDLE 文件的路径给verify,也可以设置REQUEST_CA_BUNDLE环境变量

verify的默认值为True,也可以将verify设置为False,requests就会忽略对SSL证书的验证

>>> requests.get(‘https://www.baidu.com/‘, verify=False)
<Response [200]>

原文地址:https://www.cnblogs.com/sch01ar/p/8436881.html

时间: 2024-07-30 20:26:06

Python模块-requests(二)的相关文章

OpenCV和Zbar两个Python模块实现二维码和条形码识别

在我们的日常生活中,处处可见条形码和二维码. 在以前,我们去逛书店时,或者你现在随手拿起你身边的一本书,你肯定能看到书本的封页后面印有一排黑色线条组成的标签,也就是条形码:你去你们学校的自助机上借书还书时识别的也是条形码:哦,对了,你还记得每次大型考试答题卡上都会贴上监考老师分发给你的那个标签吗?还是条形码:甚至现在你随随便便逛个超市或便利店,收银员或者自助机也都是通过扫商品条形码给你计价的.条形码在我们的日常生活中真的是随处可见. 到了后来,2016年之后,二维码也渐渐开始普及起来,现在二维码

Python模块--Requests &lt;HTTP访问模块&gt;

urllib2是一个不错的HTTP访问库,但是API的设计太理性化,导致人类这个生物使用会遇到各种综合头疼. Requests诙谐又有趣的介绍如下: Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用. 警告:非专业使用其他 HTTP 库会导致危险的副作用,包括:安全缺陷症.冗余代码症.重新发明轮子症.啃文档症.抑郁.头疼.甚至死亡. Requests中文文档 一个简单的Requests模块示例 import requests response = reques

Python 模块(二)

1 logging 模块 logging有两种的配置的方式,configure.logger 1.1 config方式 import logging ''' 日志的配置:config模式 只能选择在屏幕或者在文件输出 ''' logging.basicConfig(level=logging.DEBUG, format='%(asctime)s [%(lineno)s] %(message)s' , filename='log.txt', filemode='a' ) # logging.deb

Python模块-requests(一)

requests不是python自带的,使用前需要安装 发送请求 HTTP请求类型有GET,POST,PUT,DELETE,HEAD和OPTIONS 使用requests发送请求的方法如下: >>> import requests >>> r = requests.get("http://httpbin.org/get") #发送GET请求 >>> r = requests.post("http://httpbin.org

python模块练习二—使用正则表达式实现计算器的功能

开发一个简单的python计算器 实现加减乘除及拓号优先级解析 用户输入 1 - 2 * ( (60-30 +(-40/5) * (9-2*5/3 + 7 /3*99/4*2998 +10 * 568/14 )) - (-4*3)/ (16-3*2) )等类似公式后, 必须自己解析里面的(),+,-,*,/符号和公式(不能调用eval等类似功能偷懒实现),运算后得出结果, 结果必须与真实的计算器所得出的结果一致

python使用requests模块完成get/post/代理/自定义header/自定义cookies

一.背景说明 由于python3的urllib与python2有不少差别,而且urllib.request请求的一些写法不太符合人的思维习惯(文档也相当难看) 所以搞得真不太想用python,直到看urllib.request文档时注意到下边这句话 比较起来requests确实比较好用,文档也当清晰:需要自己额外安装一下,但仍比较推荐使用. 1.1 适用版本 适用于python2.6.python2.7.python3.4及以上版本,参见官方说明. 我这里使用的是当前最新的python3.7.

小贞贞python关于requests和tkinter模块项目实战

requests模块主要是用于网页的请求,获取相应数据 tkinter模块是python基于GUI的一个模块,大致模块如下: 具体可参照:https://www.cnblogs.com/shwee/p/9427975.html 今天给大家介绍,自制翻译小工具的具体项目实战: 整体是实现方式: 步骤一:通过requets模块请求百度翻译 步骤二:通过tkinter模块制作界面,将界面输入的内容传入requests模块,然后点击“翻译”按钮,显示requests模块返回的数据 步骤三:制作成一个ex

python之requests模块

Python标准库中提供了:urllib等模块以供Http请求,但是,它的 API 太渣了.它是为另一个时代.另一个互联网所创建的.它需要巨量的工作,甚至包括各种方法覆盖,来完成最简单的任务. 发送GET请求 import urllib.request f = urllib.request.urlopen('http://www.webxml.com.cn//webservices/qqOnlineWebService.asmx/qqCheckOnline?qqCode=424662508')

python实现简单爬虫(二)---- 使用urllib等python模块

之前使用scrapy实现了一个超级简单的爬虫工具,用于抓取豆瓣上面所有的编程书籍信息(由于不需要爬取整个页面的所以链接,所以不需要用到BFS or DFS,只实现顺序抓取下一页) 这次使用的是python自带的urllib 和urllib2等python模块实现,同样以豆瓣上面的爱情电影信息作为爬取对象,方法与过程其实如出一辙,同样是对每一个页面发出请求后获取响应得到的网页源码,再使用正则表达式去匹配获得所需信息,然后获取下一页的链接继续爬取. 爬取页面: 网页源码: title and lin