python爬虫基础03-requests库

优雅到骨子里的Requests

本文地址:https://www.jianshu.com/p/678489e022c8

简介

上一篇文章介绍了Python的网络请求库urlliburllib3的使用方法,那么,作为同样是网络请求库的Requests,相对于urllib,有什么优点呢?

其实,只有两个词,简单优雅。

Requests的宣言就是:HTTP for Humans。可以说,Requests彻底贯彻了Python所代表的简单优雅的精神。

之前的urllib做为Python的标准库,因为历史原因,使用的方式可以说是非常的麻烦而复杂的,而且官方文档也十分的简陋,常常需要去查看源码。与之相反的是,Requests的使用方式非常的简单、直观、人性化,让程序员的精力完全从库的使用中解放出来。

甚至在官方的urllib.request的文档中,有这样一句话来推荐Requests

The Requests packageis recommended for a higher-level HTTP client interface.

Requests的官方文档同样也非常的完善详尽,而且少见的有中文官方文档:http://cn.python-requests.org/zh_CN/latest/

英文文档:http://docs.python-requests.org/en/master/api/

当然,为了保证准确性,还是尽量查看英文文档为好。

作者

Requests的作者Kenneth Reitz同样是一个富有传奇色彩的人物。

Kenneth Reitz在有着“云服务鼻祖”之称的Heroku 公司,28岁时就担任了Python 语言的总架构师。他做了什么呢?随便列几个项目名称: requests、python-guide、pipenv、legit、autoenv,当然它也给Python界很多知名的开源项目贡献了代码,比如Flask。

可以说他是Python领域举足轻重的人物,他的代码追求一种强迫症般的美感。

大佬的传奇还不止于此,这是他当年在PyCON演讲时的照片:

非常可爱的小胖子,同时也符合着大众对于程序员的一些刻板印象:胖、不太修边幅、腼腆。

但是几年后,他变成了这样:

emmmmm,帅哥,你这是去哪整的容?

哈哈,开个玩笑。不过确实外貌方面的改变非常的巨大,由一个小肥宅的形象变得帅气潇洒。

所以千万不要给自己懒散的生活态度,找任何借口。你可以变得更棒!

只要愿意去追求,我们都能变成我们想要的样子。

例子与特性

可以说Requests最大的特性就是其风格的简单直接优雅。无论是请求方法,还是响应结果的处理,还有cookies,url参数,post提交数据,都体现出了这种风格。

以下是一个简单例子:

>>> import requests>>> resp = requests.get(‘https://www.baidu.com‘)?>>> resp.status_code200?>>> resp.headers[‘content-type‘]‘application/json; charset=utf8‘?>>> resp.encoding‘utf-8‘?>>> resp.textu‘{"type":"User"...‘

可以看到,不论是请求的发起还是相应的处理,都是非常直观明了的。

Requests目前基本上完全满足web请求的所有需求,以下是Requests的特性:

  • Keep-Alive & 连接池
  • 国际化域名和 URL
  • 带持久 Cookie 的会话
  • 浏览器式的 SSL 认证
  • 自动内容解码
  • 基本/摘要式的身份认证
  • 优雅的 key/value Cookie
  • 自动解压
  • Unicode 响应体
  • HTTP(S) 代理支持
  • 文件分块上传
  • 流下载
  • 连接超时
  • 分块请求
  • 支持 .netrc

Requests 3.0目前也募集到了资金正在开发中,预计会支持async/await来实现并发请求,且可能会支持HTTP 2.0。

安装

Requests的安装非常的简单,直接PIP安装即可:

pip install requests

使用

Requests的请求不再像urllib一样需要去构造各种Request、opener和handler,使用Requests构造的方法,并在其中传入需要的参数即可。

发起请求

请求方法

每一个请求方法都有一个对应的API,比如GET请求就可以使用get()方法:

>>> import requests>>> resp = requests.get(‘https://www.baidu.com‘)

而POST请求就可以使用post()方法,并且将需要提交的数据传递给data参数即可:

>>> import requests>>> resp = requests.post(‘http://httpbin.org/post‘, data = {‘key‘:‘value‘})

而其他的请求类型,都有各自对应的方法:

>>> resp = requests.put(‘http://httpbin.org/put‘, data = {‘key‘:‘value‘})>>> resp = requests.delete(‘http://httpbin.org/delete‘)>>> resp = requests.head(‘http://httpbin.org/get‘)>>> resp = requests.options(‘http://httpbin.org/get‘)

非常的简单直观明了。


传递URL参数

传递URL参数也不用再像urllib中那样需要去拼接URL,而是简单的,构造一个字典,并在请求时将其传递给params参数:

>>> import requests>>> params = {‘key1‘: ‘value1‘, ‘key2‘: ‘value2‘}>>> resp = requests.get("http://httpbin.org/get", params=params)

此时,查看请求的URL,则可以看到URL已经构造正确了:

>>> print(resp.url)http://httpbin.org/get?key2=value2&key1=value1

并且,有时候我们会遇到相同的url参数名,但有不同的值,而python的字典又不支持键的重名,那么我们可以把键的值用列表表示:

>>> params = {‘key1‘: ‘value1‘, ‘key2‘: [‘value2‘, ‘value3‘]}>>> resp = requests.get(‘http://httpbin.org/get‘, params=params)>>> print(resp.url)http://httpbin.org/get?key1=value1&key2=value2&key2=value3

自定义Headers

如果想自定义请求的Headers,同样的将字典数据传递给headers参数。

>>> url = ‘https://api.github.com/some/endpoint‘
>>> headers = {‘user-agent‘: ‘my-app/0.0.1‘}
>>> resp = requests.get(url, headers=headers)

自定义Cookies

Requests中自定义Cookies也不用再去构造CookieJar对象,直接将字典递给cookies参数。

>>> url = ‘http://httpbin.org/cookies‘
>>> cookies = {‘cookies_are‘: ‘working‘}

>>> resp = requests.get(url, cookies=cookies)
>>> resp.text
‘{"cookies": {"cookies_are": "working"}}‘

设置代理

当我们需要使用代理时,同样构造代理字典,传递给proxies参数。

import requests

proxies = {
  ‘http‘: ‘http://10.10.1.10:3128‘,
  ‘https‘: ‘http://10.10.1.10:1080‘,
}

requests.get(‘http://example.org‘, proxies=proxies)

重定向

在网络请求中,我们常常会遇到状态码是3开头的重定向问题,在Requests中是默认开启允许重定向的,即遇到重定向时,会自动继续访问。

>>> resp = requests.get(‘http://github.com‘, allow_redirects=False)
>>> resp.status_code
301

禁止证书验证

有时候我们使用了抓包工具,这个时候由于抓包工具提供的证书并不是由受信任的数字证书颁发机构颁发的,所以证书的验证会失败,所以我们就需要关闭证书验证。

在请求的时候把verify参数设置为False就可以关闭证书验证了。

>>> import requests
>>> resp = requests.get(‘http://httpbin.org/post‘, verify=False)

但是关闭验证后,会有一个比较烦人的warning

py:858: InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings
  InsecureRequestWarning)

可以使用以下方法关闭警告:

from requests.packages.urllib3.exceptions import InsecureRequestWarning
# 禁用安全请求警告
requests.packages.urllib3.disable_warnings(InsecureRequestWarning)

设置超时

设置访问超时,设置timeout参数即可。

>>> requests.get(‘http://github.com‘, timeout=0.001)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
requests.exceptions.Timeout: HTTPConnectionPool(host=‘github.com‘, port=80): Request timed out. (timeout=0.001)

可见,通过Requests发起请求,只需要构造好几个需要的字典,并将其传入请求的方法中,即可完成基本的网络请求。

响应

通过Requests发起请求获取到的,是一个requests.models.Response对象。通过这个对象我们可以很方便的获取响应的内容。

响应内容

之前通过urllib获取的响应,读取的内容都是bytes的二进制格式,需要我们自己去将结果decode()一次转换成字符串数据。

Requests通过text属性,就可以获得字符串格式的响应内容。

>>> import requests

>>> resp = requests.get(‘https://api.github.com/events‘)
>>> resp.text
u‘[{"repository":{"open_issues":0,"url":"https://github.com/...

Requests会自动的根据响应的报头来猜测网页的编码是什么,然后根据猜测的编码来解码网页内容,基本上大部分的网页都能够正确的被解码。而如果发现text解码不正确的时候,就需要我们自己手动的去指定解码的编码格式。

>>> import requests

>>> resp = requests.get(‘https://api.github.com/events‘)
>>> resp.encoding = ‘utf-8‘
>>> resp.text
u‘[{"repository":{"open_issues":0,"url":"https://github.com/...

而如果你需要获得原始的二进制数据,那么使用content属性即可。

>>> resp.content
b‘[{"repository":{"open_issues":0,"url":"https://github.com/...

如果我们访问之后获得的数据是JSON格式的,那么我们可以使用json()方法,直接获取转换成字典格式的数据。

>>> import requests

>>> resp = requests.get(‘https://api.github.com/events‘)
>>> resp.json()
[{u‘repository‘: {u‘open_issues‘: 0, u‘url‘: ‘https://github.com/...

状态码

通过status_code属性获取响应的状态码

>>> resp = requests.get(‘http://httpbin.org/get‘)
>>> resp.status_code
200

响应报头

通过headers属性获取响应的报头

>>> r.headers
{
    ‘content-encoding‘: ‘gzip‘,
    ‘transfer-encoding‘: ‘chunked‘,
    ‘connection‘: ‘close‘,
    ‘server‘: ‘nginx/1.0.4‘,
    ‘x-runtime‘: ‘148ms‘,
    ‘etag‘: ‘"e1ca502697e5c9317743dc078f67693f"‘,
    ‘content-type‘: ‘application/json‘
}

服务器返回的cookies

通过cookies属性获取服务器返回的cookies

>>> url = ‘http://example.com/some/cookie/setting/url‘
>>> resp = requests.get(url)
>>> resp.cookies[‘example_cookie_name‘]
‘example_cookie_value‘

url

还可以使用url属性查看访问的url。

>>> import requests
>>> params = {‘key1‘: ‘value1‘, ‘key2‘: ‘value2‘}
>>> resp = requests.get("http://httpbin.org/get", params=params)
>>> print(resp.url)
http://httpbin.org/get?key2=value2&key1=value1

Session

Requests中,实现了Session(会话)功能,当我们使用Session时,能够像浏览器一样,在没有关闭关闭浏览器时,能够保持住访问的状态。

这个功能常常被我们用于登陆之后的数据获取,使我们不用再一次又一次的传递cookies。

import requests

session = requests.Session()

session.get(‘http://httpbin.org/cookies/set/sessioncookie/123456789‘)
resp = session.get(‘http://httpbin.org/cookies‘)

print(resp.text)
# ‘{"cookies": {"sessioncookie": "123456789"}}‘

首先我们需要去生成一个Session对象,然后用这个Session对象来发起访问,发起访问的方法与正常的请求是一摸一样的。

同时,需要注意的是,如果是我们在get()方法中传入headerscookies等数据,那么这些数据只在当前这一次请求中有效。如果你想要让一个headersSession的整个生命周期内都有效的话,需要用以下的方式来进行设置:

# 设置整个headers
session.headers = {
    ‘user-agent‘: ‘my-app/0.0.1‘
}
# 增加一条headers
session.headers.update({‘x-test‘: ‘true‘})

后记:或许有人不认可代码的美学,认为代码写的丑没事,能跑起来就好。但是我始终认为,世间万物都应该是美好的,追求美好的脚步也不应该停止。

原文地址:https://www.cnblogs.com/winfun/p/10984093.html

时间: 2024-09-29 07:57:07

python爬虫基础03-requests库的相关文章

Python爬虫基础之requests

一.随时随地爬取一个网页下来 怎么爬取网页?对网站开发了解的都知道,浏览器访问Url向服务器发送请求,服务器响应浏览器请求并返回一堆HTML信息,其中包括html标签,css样式,js脚本等.我们之前用的是Python标准基础库Urllib实现的, 现在我们使用Python的Requests HTTP库写个脚本开始爬取网页.Requests的口号很响亮“让HTTP服务人类“,够霸气. 二.Python Requests库的基本使用 1.GET和POST请求方式 GET请求 1 import re

网络爬虫入门:你的第一个爬虫项目(requests库)

0.采用requests库 虽然urllib库应用也很广泛,而且作为Python自带的库无需安装,但是大部分的现在python爬虫都应用requests库来处理复杂的http请求.requests库语法上简洁明了,使用上简单易懂,而且正逐步成为大多数网络爬取的标准. 1. requests库的安装采用pip安装方式,在cmd界面输入: pip install requests 小编推荐一个学python的学习qun 491308659 验证码:南烛无论你是大牛还是小白,是想转行还是想入行都可以来

python爬虫-基础入门-爬取整个网站《3》

python爬虫-基础入门-爬取整个网站<3> 描述: 前两章粗略的讲述了python2.python3爬取整个网站,这章节简单的记录一下python2.python3的区别 python2.x 使用类库: >> urllib 库 >> urllib2 库 python3.x 使用的类库: >> urllib 库 变化: -> 在python2.x中使用import urllib2 ----- 对应的,在python3.x 中会使用import url

Python 爬虫基础

下面是一个 Python 爬虫最简单的例子,使用网络库 urllib2 和正则表达式库 re,模拟浏览器的 User-Agent. #!/usr/bin/env python # -*- coding: utf-8 -*- #引入基础网络库 import urllib2 #引入正则表达式模块 import re #模拟User-Agent headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWe

Python3网络爬虫——三、Requests库的基本使用

一.什么是Requests Requests是用Python语言编写,基于urllib,采用Apache2 Licensed开元协议的HTTP库.它比urllib更加的方便,可以节约我们大量的工作完全满足HTTP测试需求.简单来讲,即Python实现的简单易用的HTTP库. 二.Requests库的安装 如果是初学者,建议使用原生Python3进行安装. 1 >> pip3 install requests 如果有一定的Python基础(会基本语法即可),使用anaconda进行安装更加方便,

Python 爬虫入门(requests)

相信最开始接触Python爬虫学习的同学最初大多使用的是urllib,urllib2.在那之后接触到了第三方库requests,requests完全能满足各种http功能,真的是好用爆了 :D 他们是这样说的: “Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用.Requests 允许你发送纯天然,植物饲养的 HTTP/1.1 请求,无需手工劳动.你不需要手动为 URL 添加查询字串,也不需要对 POST 数据进行表单编码.Keep-alive 和 HTTP

爬虫基础之Requests

requests Python标准库中提供了:urllib.urllib2.httplib等模块以供Http请求,但是,它的 API 太渣了.它是为另一个时代.另一个互联网所创建的.它需要巨量的工作,甚至包括各种方法覆盖,来完成最简单的任务. Requests 是使用 Apache2 Licensed 许可证的 基于Python开发的HTTP 库,其在Python内置模块的基础上进行了高度的封装,从而使得Pythoner进行网络请求时,变得美好了许多,使用Requests可以轻而易举的完成浏览器

爬虫基础之requests模块

1. 爬虫简介 1.1 概述 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本. 1.2 爬虫的价值 在互联网的世界里最有价值的便是数据, 谁掌握了某个行业的行业内的第一手数据, 谁就是该行业的主宰. 掌握了爬虫技能, 你就成了所有互联网信息公司幕后的老板, 换言之,它们都在免费为你提供有价值的数据. 1.3 robots.txt协议 如果自己的门户网站中的指定页面中的数据不想让爬虫程序爬取到的话,那么

python爬虫入门request 常用库介绍

什么是爬虫? 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自动索引.模拟程序或者蠕虫. 其实通俗的讲就是通过程序去获取web页面上自己想要的数据,也就是自动抓取数据. 你可以爬去妹子的图片,爬取自己想看看的视频..等等你想要爬取的数据,只要你能通过浏览器访问的数据都可以通过爬虫获取 爬虫的本质 模拟浏览器打开网页,获取网页中我们想要的那部分数据 浏览器打开网页的过程

爬虫基础之urllib库

categories: 爬虫 tags: urlopen urlretrieve urlencode parse_qs urlparse urlsplit urllib库 urllib库是Python中一个最基本的网络请求库.可以模拟浏览器的行为,向指定的服务器发送一个请求,并可以保存服务器返回的数据 urlopen函数 在Python3的urllib库中,所有和网络请求相关的方法,都被集到 urllib.request 模块下面了,先来看下urlopen的基本使用 from urllib im