python爬虫基础02-urllib库

Python网络请求urllib和urllib3详解

urllib是Python中请求url连接的官方标准库，在Python2中主要为urllib和urllib2，在Python3中整合成了urllib。

官方文档链接为：https://docs.python.org/3/library/urllib.html

而urllib3则是增加了连接池等功能，两者互相都有补充的部分。

urllib

它是 Python 内置的 HTTP 请求库，也就是说我们不需要额外安装即可使用，基本上涵盖了基础的网络请求功能，它包含四个模块：

  • urllib.request 用于打开和读取url
  • urllib.error 用于处理前面request引起的异常
  • urllib.parse 用于解析url
  • urllib.robotparser 用于解析robots.txt文件

urllib.request

urllib中，request这个模块主要负责构造和发起网络请求，并在其中加入Headers、Proxy等。

利用它可以模拟浏览器的一个请求发起过程

发起GET请求

主要使用urlopen()方法来发起请求：

from urllib import request?resp = request.urlopen(‘http://www.baidu.com‘)print(resp.read().decode())

在urlopen()方法中传入字符串格式的url地址，则此方法会访问目标网址，然后返回访问的结果。

访问的结果会是一个http.client.HTTPResponse对象，使用此对象的read()方法，则可以获取访问网页获得的数据。但是要注意的是，获得的数据会是bytes的二进制格式，所以需要decode()一下，转换成字符串格式。

发起POST请求

urlopen()默认的访问方式是GET，当在urlopen()方法中传入data参数时，则会发起POST请求。

注意：传递的data数据需要为bytes格式。

用 urllib.parse 模块里的 urlencode() 方法来将参数字典转化为字符串。第二个参数指定编码格式，在这里指定为 utf8。

设置timeout参数还可以设置超时时间，如果请求时间超出，那么就会抛出异常。

from urllib import request?resp = request.urlopen(‘http://httpbin.org/post‘, data=b‘word=hello‘)print(resp.read().decode())

设置超时

设置超时时间，单位为秒，如果请求时间超出还没有得到响应，那么就会抛出URLError 异常

from urllib import request?response = urllib.request.urlopen(‘http://httpbin.org/get‘, timeout=0.1)

Request对象

如上所示，urlopen()方法可以实现最基本请求，但这几个简单的参数并不足以构建一个完整的请求，如果请求中需要加入 Headers 等信息，我们就可以利用更强大的Request对象来扩展功能，Request对象如下所示。

class urllib.request.Request(url, data=None, headers={},                           origin_req_host=None,                           unverifiable=False, method=None)

urlopen() 方法可以实现最基本请求的发起，但这几个简单的参数并不足以构建一个完整的请求，如果请求中需要加入 Headers 等信息，我们就可以利用更强大的 Request 类来构建一个请求。

构造Request对象必须传入url参数，data数据和headers都是可选的。

最后，Request方法可以使用method参数来自由选择请求的方法，如PUT，DELETE等等，默认为GET。

添加Headers

通过urllib发起的请求会有默认的一个Headers："User-Agent":"Python-urllib/3.6"，指明请求是由urllib发送的。

所以遇到一些验证User-Agent的网站时，我们需要自定义Headers，而这需要借助于urllib.request中的Request对象。

from urllib import request?url = ‘http://httpbin.org/get‘headers = {‘user-agent‘: ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36‘}?# 需要使用url和headers生成一个Request对象，然后将其传入urlopen方法中req = request.Request(url, headers=headers)resp = request.urlopen(req)print(resp.read().decode())

添加Cookie

为了在请求时能带上Cookie信息，我们需要重新构造一个opener。

使用request.build_opener方法来进行构造opener，将我们想要传递的cookie配置到opener中，然后使用这个opener的open方法来发起请求。

from http import cookiejarfrom urllib import request?url = ‘http://httpbin.org/cookies‘# 创建一个cookiejar对象cookie = cookiejar.CookieJar()# 使用HTTPCookieProcessor创建cookie处理器cookies = request.HTTPCookieProcessor(cookie)# 并以它为参数创建Opener对象opener = request.build_opener(cookies)# 使用这个opener来发起请求resp = opener.open(url)print(resp.read().decode())

或者也可以把这个生成的opener使用install_opener方法来设置为全局的。

则之后使用urlopen方法发起请求时，都会带上这个cookie。

# 将这个opener设置为全局的openerrequest.install_opener(opener)resp = request.urlopen(url)

设置Proxy代理

使用爬虫来爬取数据的时候，常常需要使用代理来隐藏我们的真实IP。

from urllib import request?url = ‘http://httpbin.org/ip‘proxy = {‘http‘:‘50.233.137.33:80‘,‘https‘:‘50.233.137.33:80‘}# 创建代理处理器proxies = request.ProxyHandler(proxy)# 创建opener对象opener = request.build_opener(proxies)?resp = opener.open(url)print(resp.read().decode())

下载数据到本地

在我们进行网络请求时常常需要保存图片或音频等数据到本地，一种方法是使用python的文件操作，将read()获取的数据保存到文件中。

而urllib提供了一个urlretrieve()方法，可以简单的直接将请求获取的数据保存成文件。

from urllib import request

url = ‘http://python.org/‘
request.urlretrieve(url, ‘python.html‘)

urlretrieve()方法传入的第二个参数为文件保存的位置，以及文件名。

注：urlretrieve()方法是python2直接移植过来的方法，以后有可能在某个版本中弃用。

urllib.response

在使用urlopen()方法或者opener的open()方法发起请求后，获得的结果是一个response对象。

这个对象有一些方法和属性，可以让我们对请求返回的结果进行一些处理。

  • read()

    获取响应返回的数据，只能使用一次。

  • getcode()

    获取服务器返回的状态码。

  • getheaders()

    获取返回响应的响应报头。

  • geturl()

    获取访问的url。

urllib.parse

urllib.parse是urllib中用来解析各种数据格式的模块。

urllib.parse.quote

在url中，是只能使用ASCII中包含的字符的，也就是说，ASCII不包含的特殊字符，以及中文等字符都是不可以在url中使用的。而我们有时候又有将中文字符加入到url中的需求，例如百度的搜索地址：

https://www.baidu.com/s?wd=南北

？之后的wd参数，则是我们搜索的关键词。那么我们实现的方法就是将特殊字符进行url编码，转换成可以url可以传输的格式，urllib中可以使用quote()方法来实现这个功能。

>>> from urllib import parse
>>> keyword = ‘南北‘
>>> parse.quote(keyword)
‘%E5%8D%97%E5%8C%97‘

如果需要将编码后的数据转换回来，可以使用unquote()方法。

>>> parse.unquote(‘%E5%8D%97%E5%8C%97‘)
‘南北‘

urllib.parse.urlencode

在访问url时，我们常常需要传递很多的url参数，而如果用字符串的方法去拼接url的话，会比较麻烦，所以urllib中提供了urlencode这个方法来拼接url参数。

>>> from urllib import parse
>>> params = {‘wd‘: ‘南北‘, ‘code‘: ‘1‘, ‘height‘: ‘188‘}
>>> parse.urlencode(params)
‘wd=%E5%8D%97%E5%8C%97&code=1&height=188‘

urllib.error

在urllib中主要设置了两个异常，一个是URLError，一个是HTTPError，HTTPError是URLError的子类。

HTTPError还包含了三个属性：

  • code：请求的状态码
  • reason：错误的原因
  • headers：响应的报头

例子：

In [1]: from urllib.error import HTTPError

In [2]: try:
   ...:     request.urlopen(‘https://www.jianshu.com‘)
   ...: except HTTPError as e:
   ...:     print(e.code)

403

urllib3

Urllib3是一个功能强大，条理清晰，用于HTTP客户端的Python库。许多Python的原生系统已经开始使用urllib3。Urllib3提供了很多python标准库urllib里所没有的重要特性：

  1. 线程安全
  2. 连接池
  3. 客户端SSL/TLS验证
  4. 文件分部编码上传
  5. 协助处理重复请求和HTTP重定位
  6. 支持压缩编码
  7. 支持HTTP和SOCKS代理

安装

urllib3是一个第三方库，安装非常简单，pip安装即可：

pip install urllib3

使用

urllib3主要使用连接池进行网络请求的访问，所以访问之前我们需要创建一个连接池对象，如下所示：

>>> import urllib3
>>> http = urllib3.PoolManager()
>>> r = http.request(‘GET‘, ‘http://httpbin.org/robots.txt‘)
>>> r.status
200
>>> r.data
‘User-agent: *\nDisallow: /deny\n‘

设置headers

headers={‘X-Something‘: ‘value‘}
resp = http.request(‘GET‘, ‘http://httpbin.org/headers‘, headers=headers)

设置url参数

对于GET等没有请求正文的请求方法，可以简单的通过设置fields参数来设置url参数。

fields = {‘arg‘: ‘value‘}
resp = http.request(‘GET‘, ‘http://httpbin.org/get‘, fields=fields)

如果使用的是POST等方法，则会将fields作为请求的请求正文发送。

所以，如果你的POST请求是需要url参数的话，那么需要自己对url进行拼接。

fields = {‘arg‘: ‘value‘}
resp = http.request(‘POST‘, ‘http://httpbin.org/get‘, fields=fields)

设置代理

>>> import urllib3
>>> proxy = urllib3.ProxyManager(‘http://50.233.137.33:80‘, headers={‘connection‘: ‘keep-alive‘})
>>> resp = proxy.request(‘get‘, ‘http://httpbin.org/ip‘)
>>> resp.status
200
>>> resp.data
b‘{"origin":"50.233.136.254"}\n‘

注：urllib3中没有直接设置cookies的方法和参数，只能将cookies设置到headers中

 

原文地址：https://www.cnblogs.com/winfun/p/10984085.html

时间： 2024-08-25 04:45:48

python爬虫基础02-urllib库的相关文章

爬虫基础之urllib库

categories: 爬虫 tags: urlopen urlretrieve urlencode parse_qs urlparse urlsplit urllib库 urllib库是Python中一个最基本的网络请求库.可以模拟浏览器的行为,向指定的服务器发送一个请求,并可以保存服务器返回的数据 urlopen函数 在Python3的urllib库中,所有和网络请求相关的方法,都被集到 urllib.request 模块下面了,先来看下urlopen的基本使用 from urllib im

Python爬虫入门之Urllib库的高级用法

1.设置Headers 有些网站不会同意程序直接用上面的方式进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作,我们需要设置一些Headers 的属性. 首先,打开我们的浏览器,调试浏览器F12,我用的是Chrome,打开网络监听,示意如下,比如知乎,点登录之后,我们会发现登陆之后界面都变化了,出现一个新的界面,实质上这个页面包含了许许多多的内容,这些内容也不是一次性就加载完成的,实质上是执行了好多次请求,一般是首先请求HTML文件,然后加载JS,CSS 等等,经过多次

爬虫基础(1):urllib库

urllib库 urllib库是python中的一个基本网络请求库.用于模拟浏览器的行为,向指定服务器发送请求,并接收返回的数据. 在python3中所有的网络请求相关函数都集中在urllib.request模块下面 urlopen函数 向服务器发起请求 urlopen函数的参数 url 目标地址 data 如果有这个参数,将变为post请求 返回值 http.client.HTTPResponse对象,其中含有下面几个方法: read(size) size为空则读取所有 readline()

Python爬虫入门之三urllib库的基本使用

前言 所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地.在Python中有很多库可以用来抓取网页,我们先学习urllib. 注:此博客开发环境为python3 urlopen 我们先来段代码: # urllib_urlopen.py # 导入urllib.request import urllib.request # 向指定的url发送请求,并返回服务器响应的类文件对象 response = urllib.request.urlopen("http://www.bai

python爬虫二、Urllib库的基本使用

什么是Urllib Urllib是python内置的HTTP请求库 包括以下模块 urllib.request 请求模块 urllib.error 异常处理模块 urllib.parse url解析模块 urllib.robotparser robots.txt解析模块 urlopen 关于urllib.request.urlopen参数的介绍: urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=No

python 爬虫基础之urllib

今天在麦子学院看了教学视频之后,发现收益颇丰,因而做了一下学习笔记(毕竟是第一次写,感觉有点low). 以下是我照着老师敲的代码: # coding:utf-8import urllib def print_list(list): # 获取的网页源码按行输出 for i in list: print i def demo(): # 打开一个网页 r = urllib.urlopen('http://www.maiziedu.com/course/645/') #print r.read(10)

python爬虫-基础入门-爬取整个网站《3》

python爬虫-基础入门-爬取整个网站<3> 描述: 前两章粗略的讲述了python2.python3爬取整个网站,这章节简单的记录一下python2.python3的区别 python2.x 使用类库: >> urllib 库 >> urllib2 库 python3.x 使用的类库: >> urllib 库 变化: -> 在python2.x中使用import urllib2 ----- 对应的,在python3.x 中会使用import url

第三百三十节，web爬虫讲解2—urllib库爬虫—实战爬取搜狗微信公众号

第三百三十节,web爬虫讲解2-urllib库爬虫-实战爬取搜狗微信公众号 封装模块 #!/usr/bin/env python # -*- coding: utf-8 -*- import urllib from urllib import request import json import random import re import urllib.error def hq_html(hq_url): """ hq_html()封装的爬虫函数,自动启用了用户代理和ip

python爬虫实例（urllib&BeautifulSoup）

python 2.7.6 urllib:发送报文并得到response BeautifulSoup:解析报文的body(html) #encoding=UTF-8 from bs4 import BeautifulSoup from urllib import urlopen import urllib list_no_results=[]#没查到的银行卡的list list_yes_results=[]#已查到的银行卡的list #解析报文,以字典存储 def parseData(htmls,

Python数据分析——基础02

Python数据分析--基础02 元组(tuple) 元组是一个固定长度,不可改变的序列对象. 创建元组 用逗号分隔一列值 tup = 1,2,3 # (1, 2, 3) 用圆括号 tup = (1,2,3), (4,5,6,7) # ((1, 2, 3), (4, 5, 6, 7)) 使用tuple()可以将任意序列或迭代器转换成元组 tuple([1,2,3,4]) # (1, 2, 3, 4) tuple('string') # ('s', 't', 'r', 'i', 'n', 'g')