Python3网络爬虫实战-22、使用Urllib:解析链接

Urllib 库里还提供了 parse 这个模块,它定义了处理 URL 的标准接口,例如实现 URL 各部分的抽取,合并以及链接转换。它支持如下协议的 URL 处理:file、ftp、gopher、hdl、http、https、imap、mailto、 mms、news、nntp、prospero、rsync、rtsp、rtspu、sftp、shttp、 sip、sips、snews、svn、svn+ssh、telnet、wais,本节我们介绍一下该模块中常用的方法来感受一下它的便捷之处。

1. urlparse()

urlparse() 方法可以实现 URL 的识别和分段,我们先用一个实例来感受一下:

from urllib.parse import urlparse

result = urlparse(‘http://www.baidu.com/index.html;user?id=5#comment‘)
print(type(result), result)

在这里我们利用了 urlparse() 方法进行了一个 URL 的解析,首先输出了解析结果的类型,然后将结果也输出出来。

运行结果:

<class ‘urllib.parse.ParseResult‘>
ParseResult(scheme=‘http‘, netloc=‘www.baidu.com‘, path=‘/index.html‘, params=‘user‘, query=‘id=5‘, fragment=‘comment‘)
Python资源分享qun 784758214 ,内有安装包,PDF,学习视频,这里是Python学习者的聚集地,零基础,进阶,都欢迎

观察可以看到,返回结果是一个 ParseResult 类型的对象,它包含了六个部分,分别是 scheme、netloc、path、params、query、fragment。

观察一下实例的URL:

http://www.baidu.com/index.html;user?id=5#comment

urlparse() 方法将其拆分成了六部分,大体观察可以发现,解析时有特定的分隔符,比如 :// 前面的就是 scheme,代表协议,第一个 / 前面便是 netloc,即域名,分号 ; 前面是 params,代表参数。

所以可以得出一个标准的链接格式如下:

scheme://netloc/path;parameters?query#fragment

一个标准的 URL 都会符合这个规则,利用 urlparse() 方法我们可以将它解析拆分开来。

除了这种最基本的解析方式,urlopen() 方法还有其他配置吗?接下来看一下它的 API 用法:

urllib.parse.urlparse(urlstring, scheme=‘‘, allow_fragments=True)

可以看到它有三个参数:

  • urlstring,是必填项,即待解析的 URL。
  • scheme,是默认的协议(比如http、https等),假如这个链接没有带协议信息,会将这个作为默认的协议。

我们用一个实例感受一下:

from urllib.parse import urlparse

result = urlparse(‘www.baidu.com/index.html;user?id=5#comment‘, scheme=‘https‘)
print(result)

运行结果:

ParseResult(scheme=‘https‘, netloc=‘‘, path=‘www.baidu.com/index.html‘, params=‘user‘, query=‘id=5‘, fragment=‘comment‘)

可以发现,我们提供的 URL 没有包含最前面的 scheme 信息,但是通过指定默认的 scheme 参数,返回的结果是 https。

假设我们带上了 scheme 呢?

result?= urlparse(‘http://www.baidu.com/index.html;user?id=5#comment‘, scheme=‘https‘)

结果如下:

ParseResult(scheme=‘http‘, netloc=‘www.baidu.com‘, path=‘/index.html‘, params=‘user‘, query=‘id=5‘, fragment=‘comment‘)

可见 scheme 参数只有在 URL 中不包含 scheme 信息时才会生效,如果 URL 中有 scheme 信息,那就返回解析出的 scheme。

  • allow_fragments,即是否忽略 fragment,如果它被设置为 False,fragment 部分就会被忽略,它会被解析为 path、parameters 或者 query 的一部分,fragment 部分为空。

下面我们用一个实例感受一下:

from urllib.parse import urlparse

result = urlparse(‘http://www.baidu.com/index.html;user?id=5#comment‘, allow_fragments=False)
print(result)

运行结果:

ParseResult(scheme=‘http‘, netloc=‘www.baidu.com‘, path=‘/index.html‘, params=‘user‘, query=‘id=5#comment‘, fragment=‘‘)

假设 URL 中不包含 parameters 和 query 呢?

再来一个实例看下:

from urllib.parse import urlparse

result = urlparse(‘http://www.baidu.com/index.html#comment‘, allow_fragments=False)
print(result)

运行结果:

ParseResult(scheme=‘http‘, netloc=‘www.baidu.com‘,?path=‘/index.html#comment‘, params=‘‘, query=‘‘, fragment=‘‘)

可以发现当 URL 中不包含 params 和 query 时, fragment 便会被解析为 path 的一部分。

返回结果 ParseResult 实际上是一个元组,我们可以用索引顺序来获取,也可以用属性名称获取,实例如下:

from urllib.parse import urlparse

result = urlparse(‘http://www.baidu.com/index.html#comment‘, allow_fragments=False)
print(result.scheme, result[0], result.netloc, result[1], sep=‘\n‘)

在这里我们分别用索引和属性名获取了 scheme 和 netloc,运行结果如下:

http
http
www.baidu.com
www.baidu.com

可以发现二者结果是一致的,两种方法都可以成功获取。

2. urlunparse()

有了 urlparse() 那相应地就有了它的对立方法 urlunparse()。

它接受的参数是一个可迭代对象,但是它的长度必须是 6,否则会抛出参数数量不足或者过多的问题。

先用一个实例感受一下:

from urllib.parse import urlunparse

data = [‘http‘, ‘www.baidu.com‘, ‘index.html‘, ‘user‘, ‘a=6‘, ‘comment‘]
print(urlunparse(data))

参数 data 用了列表类型,当然你也可以用其他的类型如元组或者特定的数据结构。

运行结果如下:

http://www.baidu.com/index.html;user?a=6#comment

这样我们就成功实现了 URL 的构造。

3. urlsplit()

这个和 urlparse() 方法非常相似,只不过它不会单独解析 parameters 这一部分,只返回五个结果。上面例子中的 parameters 会合并到 path中,用一个实例感受一下:

from urllib.parse import urlsplit

result = urlsplit(‘http://www.baidu.com/index.html;user?id=5#comment‘)
print(result)

运行结果:

SplitResult(scheme=‘http‘, netloc=‘www.baidu.com‘,?path=‘/index.html;user‘, query=‘id=5‘, fragment=‘comment‘)
Python资源分享qun 784758214 ,内有安装包,PDF,学习视频,这里是Python学习者的聚集地,零基础,进阶,都欢迎

可以发现返回结果是 SplitResult,其实也是一个元组类型,可以用属性获取值也可以用索引来获取,实例如下:

from urllib.parse import urlsplit

result = urlsplit(‘http://www.baidu.com/index.html;user?id=5#comment‘)
print(result.scheme, result[0])

运行结果:

http?http

4. urlunsplit()

与 urlunparse() 类似,也是将链接的各个部分组合成完整链接的方法,传入的也是一个可迭代对象,例如列表、元组等等,唯一的区别是,长度必须为 5。

用一个实例来感受一下:

from urllib.parse import urlunsplit

data = [‘http‘, ‘www.baidu.com‘, ‘index.html‘, ‘a=6‘, ‘comment‘]
print(urlunsplit(data))

运行结果:

http://www.baidu.com/index.html?a=6#comment

同样可以完成链接的拼接生成。

5. urljoin()

有了 urlunparse() 和 urlunsplit() 方法,我们可以完成链接的合并,不过前提必须要有特定长度的对象,链接的每一部分都要清晰分开。

生成链接还有另一个方法,利用 urljoin() 方法我们可以提供一个 base_url(基础链接),新的链接作为第二个参数,方法会分析 base_url 的 scheme、netloc、path 这三个内容对新链接缺失的部分进行补充,作为结果返回。

我们用几个实例来感受一下:

from urllib.parse import urljoin

print(urljoin(‘http://www.baidu.com‘, ‘FAQ.html‘))
print(urljoin(‘http://www.baidu.com‘, ‘https://cuiqingcai.com/FAQ.html‘))
print(urljoin(‘http://www.baidu.com/about.html‘, ‘https://cuiqingcai.com/FAQ.html‘))
print(urljoin(‘http://www.baidu.com/about.html‘, ‘https://cuiqingcai.com/FAQ.html?question=2‘))
print(urljoin(‘http://www.baidu.com?wd=abc‘, ‘https://cuiqingcai.com/index.php‘))
print(urljoin(‘http://www.baidu.com‘, ‘?category=2#comment‘))
print(urljoin(‘www.baidu.com‘, ‘?category=2#comment‘))
print(urljoin(‘www.baidu.com#comment‘, ‘?category=2‘))

运行结果:

http://www.baidu.com/FAQ.html
https://cuiqingcai.com/FAQ.html
https://cuiqingcai.com/FAQ.html
https://cuiqingcai.com/FAQ.html?question=2
https://cuiqingcai.com/index.php
http://www.baidu.com?category=2#comment
www.baidu.com?category=2#comment
www.baidu.com?category=2

可以发现,base_url 提供了三项内容,scheme、netloc、path,如果这三项在新的链接里面不存在,那么就予以补充,如果新的链接存在,那么就使用新的链接的部分。base_url 中的 parameters、query、fragments 是不起作用的。

通过如上的函数,我们可以轻松地实现链接的解析,拼合与生成。

6. urlencode()

我们再介绍一个常用的 urlencode() 方法,它在构造 GET 请求参数的时候非常有用,我们用实例感受一下:

from urllib.parse import urlencode

params = {
    ‘name‘: ‘germey‘,
    ‘age‘: 22
}
base_url = ‘http://www.baidu.com?‘
url = base_url + urlencode(params)
print(url)

我们首先声明了一个字典,将参数表示出来,然后调用 urlencode() 方法将其序列化为 URL 标准 GET 请求参数。

运行结果:

http://www.baidu.com?name=germey&age=22

可以看到参数就成功由字典类型转化为 GET 请求参数了。

这个方法非常常用,有时为了更加方便地构造参数,我们会事先用字典来表示,要转化为 URL 的参数时只需要调用该方法即可。

7. parse_qs()

有了序列化必然就有反序列化,如果我们有一串 GET 请求参数,我们利用 parse_qs() 方法就可以将它转回字典,我们用一个实例感受一下:

from urllib.parse import parse_qs

query = ‘name=germey&age=22‘
print(parse_qs(query))

运行结果:

{‘name‘: [‘germey‘],?‘age‘: [‘22‘]}

可以看到这样就成功转回为字典类型了。

8. parse_qsl()

另外还有一个 parse_qsl() 方法可以将参数转化为元组组成的列表,实例如下:

from urllib.parse import parse_qsl

query = ‘name=germey&age=22‘
print(parse_qsl(query))

运行结果:

[(‘name‘, ‘germey‘), (‘age‘, ‘22‘)]

可以看到运行结果是一个列表,列表的每一个元素都是一个元组,元组的第一个内容是参数名,第二个内容是参数值。

9. quote()

quote() 方法可以将内容转化为 URL 编码的格式,有时候 URL 中带有中文参数的时候可能导致乱码的问题,所以我们可以用这个方法将中文字符转化为 URL 编码,实例如下:

from urllib.parse import quote

keyword = ‘壁纸‘
url = ‘https://www.baidu.com/s?wd=‘ + quote(keyword)
print(url

在这里我们声明了一个中文的搜索文字,然后用 quote() 方法对其进行 URL 编码,最后得到的结果如下:

https://www.baidu.com/s?wd=%E...

这样我们就可以成功实现URL编码的转换。

10. unquote()

有了 quote() 方法当然还有 unquote() 方法,它可以进行 URL 解码,实例如下:

from urllib.parse import unquote

url = ‘https://www.baidu.com/s?wd=%E5%A3%81%E7%BA%B8‘
print(unquote(url))
Python资源分享qun 784758214 ,内有安装包,PDF,学习视频,这里是Python学习者的聚集地,零基础,进阶,都欢迎

这是上面得到的 URL 编码后的结果,我们在这里利用 unquote() 方法进行还原,结果如下:

https://www.baidu.com/s?wd=壁纸

可以看到利用 unquote() 方法可以方便地实现解码。

11. 结语

本节介绍了 parse 模块的一些常用 URL 处理方法,有了这些方法我们可以方便地实现 URL 的解析和构造,建议熟练掌握。

原文地址:https://blog.51cto.com/14445003/2426258

时间: 2024-10-07 05:01:52

Python3网络爬虫实战-22、使用Urllib:解析链接的相关文章

《Python3网络爬虫实战案例(崔庆才著)》 中文版PDF下载,附源代码+视频教程

<Python3网络爬虫实战案例(崔庆才著)>中文版PDF下载,附源代码+视频教程,带目录资料下载:https://pan.baidu.com/s/1OzxyHQMLOzWFMzjdQ8kEqQ 原文地址:http://blog.51cto.com/7369682/2330247

Python3网络爬虫实战-23、使用Urllib:分析Robots协议

利用 Urllib 的 robotparser 模块我们可以实现网站 Robots 协议的分析,本节我们来简单了解一下它的用法. 1. Robots协议 Robots 协议也被称作爬虫协议.机器人协议,它的全名叫做网络爬虫排除标准(Robots Exclusion Protocol),用来告诉爬虫和搜索引擎哪些页面可以抓取,哪些不可以抓取.它通常是一个叫做 robots.txt 的文本文件,放在网站的根目录下. 当搜索爬虫访问一个站点时,它首先会检查下这个站点根目录下是否存在 robots.tx

Python3网络爬虫实战-10、爬虫框架的安装:PySpider、Scrapy

我们直接用 Requests.Selenium 等库写爬虫,如果爬取量不是太大,速度要求不高,是完全可以满足需求的.但是写多了会发现其内部许多代码和组件是可以复用的,如果我们把这些组件抽离出来,将各个功能模块化,就慢慢会形成一个框架雏形,久而久之,爬虫框架就诞生了. 利用框架我们可以不用再去关心某些功能的具体实现,只需要去关心爬取逻辑即可.有了它们,可以大大简化代码量,而且架构也会变得清晰,爬取效率也会高许多.所以如果对爬虫有一定基础,上手框架是一种好的选择. 本书主要介绍的爬虫框架有PySpi

Python3网络爬虫实战-21、使用Urllib:处理异常

在前面一节我们了解了 Request 的发送过程,但是在网络情况不好的情况下,出现了异常怎么办呢?这时如果我们不处理这些异常,程序很可能报错而终止运行,所以异常处理还是十分有必要的. Urllib 的 error 模块定义了由 request 模块产生的异常.如果出现了问题,request 模块便会抛出 error 模块中定义的异常,本节会对其进行详细的介绍. 1. URLError URLError 类来自 Urllib 库的 error 模块,它继承自 OSError 类,是 error 异

Python3网络爬虫实战-25、requests:高级用法

在前面一节我们了解了 Requests 的基本用法,如基本的 GET.POST 请求以及 Response 对象的用法,本节我们再来了解下 Requests 的一些高级用法,如文件上传,代理设置,Cookies 设置等等. 1. 文件上传 我们知道 Reqeuests 可以模拟提交一些数据,假如有的网站需要我们上传文件,我们同样可以利用它来上传,实现非常简单,实例如下: import requests files = {'file': open('favicon.ico', 'rb')} r =

Python3网络爬虫实战-32、数据存储:关系型数据库存储:MySQL

关系型数据库基于关系模型的数据库,而关系模型是通过二维表来保存的,所以它的存储方式就是行列组成的表,每一列是一个字段,每一行是一条记录.表可以看作是某个实体的集合,而实体之间存在联系,这就需要表与表之间的关联关系来体现,如主键外键的关联关系,多个表组成一个数据库,也就是关系型数据库. 关系型数据库有多种,如 SQLite.MySQL.Oracle.SQL Server.DB2等等. 在本节我们主要介绍 Python3 下 MySQL 的存储. 在 Python2 中,连接 MySQL 的库大多是

Python3网络爬虫实战-33、数据存储:非关系型数据库存储:MongoDB

NoSQL,全称 Not Only SQL,意为不仅仅是 SQL,泛指非关系型的数据库.NoSQL 是基于键值对的,而且不需要经过 SQL 层的解析,数据之间没有耦合性,性能非常高. 非关系型数据库又可以细分如下: 键值存储数据库,代表有 Redis, Voldemort, Oracle BDB 等. 列存储数据库,代表有 Cassandra, HBase, Riak 等. 文档型数据库,代表有 CouchDB, MongoDB 等. 图形数据库,代表有 Neo4J, InfoGrid, Inf

Python3网络爬虫(二):利用urllib.urlopen向有道翻译发送数据获得翻译结果

一.urlopen的url参数 Agent url不仅可以是一个字符串,例如:http://www.baidu.com.url也可以是一个Request对象,这就需要我们先定义一个Request对象,然后将这个Request对象作为urlopen的参数使用,方法如下: # -*- coding: UTF-8 -*- from urllib import request if __name__ == "__main__": req = request.Request("http

Python3网络爬虫实战-3、数据库的安装:MySQL、MongoDB、Redis

抓取下网页代码之后,下一步就是从网页中提取信息,提取信息的方式有多种多样,可以使用正则来提取,但是写起来会相对比较繁琐.在这里还有许多强大的解析库,如 LXML.BeautifulSoup.PyQuery 等等,提供了非常强大的解析方法,如 XPath 解析.CSS 选择器解析等等,利用它们我们可以高效便捷地从从网页中提取出有效信息. 本节我们就来介绍一下这些库的安装过程. 1.2.1 LXML的安装 LXML 是 Python 的一个解析库,支持 HTML 和 XML 的解析,支持 XPath