python3 爬虫4--解析链接

1.urlparse()

属于urllib.parse

在urlparse世界里面,一个标准的URL链接格式如下

scheme://nrtlooc/path;paramters?query#fragment

所以,一个url=‘http://www.baidu.com/index.html;user?id=5#comment‘

我们使用urlparse的话,就可以被分成6个部分

(scheme=‘http‘,netloc=‘www.baidu.com‘,path=‘index.html‘paramters=‘user‘.query=‘id=5‘,fragment=‘comment‘)

具体操作如下:

res=urlparse(‘https://www.baidu.com/baidu?wd=query&tn=monline_dg&ie=utf-8‘)

print(res)

urlparse还有带参数的是使用方法

res=urlparse(urlstring,scheme=‘ ‘,allow_fragment=True)

scheme是默认的协议,如果urlstring没有带协议,则使用scheme中的协议,若是有,则仍然使用urlstring中协议

allow_fragment即是否忽略fragment,如果是False,fragment就被解析为path、paramenters或者query中的一部分

2,urlunparse()

属于urllib.parse

正如其名字所示,ulrunparse()是urlparse()的逆过程

例如:data=[‘http‘,‘www.baidu.com‘,‘index.html‘,‘user‘,‘a=6‘,‘comment‘]

print(urlunparse(data))

这样就完成了urlstring的构造

3urlsplit()

from urllib.parse import urlsplit

与urlparse类似,但urlsplict把urlstirng分割成5个部分,其中少了paramters

res=urlsplict(‘http://www.baidu.com/index.html;user?id=5#comment‘)

print(res)

4urlunsplit()

用法与urlunparse()类似

5urljoin()

属于urllib.parse

urljoin()也是一种生成urlstring的方式,这种生成方法是提供两个链接,分别是base_url,和新链接,分析base_url中的scheme,netloc,path这三个部分,然后对新链接缺失的部分进行补充,新链接里面若是有,则不补充,不提换,最后返回新链接,举个例子

print(urljoin(‘http://www.baidu.com‘,‘wd=query&tn=monline_dg&ie=utf-8‘))

返回结果是:

http://www.baidu.com/wd=query&tn=monline_dg&ie=utf-8
6urlencode()

from urllib,parse import urlencode

可以将字典类型转换为url参数举例来说

param={‘name‘:‘lihua‘,‘age‘:‘23‘}

base_url=‘http://www.baidu.com‘

url=base_url+urlencode(param)

print(url)

7parse_qs()

parse_qs()是parse_encode()的逆过程(为什么名字的区别这么大,我也是不得其解)

from urllib.parse import parse_qs

query=‘wd=query&tn=monline_dg&ie=utf-8‘

print(parse_qs(query))

输出结果是:{‘tn‘: [‘monline_dg‘], ‘wd‘: [‘query‘], ‘ie‘: [‘utf-8‘]}
这样就转换称为字典类型了

8pars_qsl()

from urllib.pase  import parse_qsl:将参数转换成为元组组成的列表

query=‘wd=query&tn=monline_dg&ie=utf-8‘

print(parse_qsl(query))

输出结果:[(‘wd‘, ‘query‘), (‘tn‘, ‘monline_dg‘), (‘ie‘, ‘utf-8‘)]

9quote

quote()方法可以将内容转换为URL编码格式,有时候URL带中文可能导致乱码,这样就需要quote

from urllib。parse import quote

keyword=‘美女‘

url=‘https://www.baidu.com/s?wd=‘+quote(keyword)

print(url)

输出结果:https://www.baidu.com/s?wd=%E7%BE%8E%E5%A5%B3

10unquote()

对URL进行解码

from urllib.parse import unquote

url=‘https://www.baidu.com/s?wd=%E7%BE%8E%E5%A5%B3‘

print(unquote(url))

输出结果:https://www.baidu.com/s?wd=美女
就可以实现解码

时间: 2024-10-10 23:04:28

python3 爬虫4--解析链接的相关文章

python3爬虫中文乱码之请求头‘Accept-Encoding’:br 的问题

当用python3做爬虫的时候,一些网站为了防爬虫会设置一些检查机制,这时我们就需要添加请求头,伪装成浏览器正常访问. header的内容在浏览器的开发者工具中便可看到,将这些信息添加到我们的爬虫代码中即可. 'Accept-Encoding':是浏览器发给服务器,声明浏览器支持的编码类型.一般有gzip,deflate,br 等等. python3中的 requests包中response.text 和 response.content response.content #字节方式的响应体,会

Python3爬虫实战:实战源码+博客讲解

Python Spider 贵有恒,何必三更起五更睡:最无益,只怕一日暴十寒. Python3爬虫实战:实战源码+博客讲解 个人网站 CSDN博客 CSDN爬虫专栏 学习交流群[328127489] 声明 代码.教程仅限于学习交流,请勿用于任何商业用途! 文章首发声明 文章在自己的个人网站首发,其他平台文章均属转发,如想获得最新更新进展,欢迎关注我的个人网站:http://cuijiahua.com/ 目录 爬虫小工具 文件下载小助手 爬虫实战 笔趣看小说下载 百度文库免费文章下载助手_rev1

python3爬虫(4)各种网站视频下载方法

python3爬虫(4)各种网站视频下载方法原创H-KING 最后发布于2019-01-09 11:06:23 阅读数 13608 收藏展开理论上来讲只要是网上(浏览器)能看到图片,音频,视频,都能够下载下来,然而实际操作的时候也是有一定难度和技术的,这篇文章主要讲述各个网站视频资源如何下载. B站视频页面链接: https://www.bilibili.com/bangumi/play/ep118490?from=search&seid=7943855106424547918 首先我们用万能下

爬虫Larbin解析(一)——Larbin配置与使用

介绍 功能:网络爬虫 开发语言:c++ 开发者:Sébastien Ailleret(法国) 特点:只抓取网页,高效(一个简单的larbin的爬虫可以每天获取500万的网页) 安装 安装平台:Ubuntu 12.10 下载:http://sourceforge.net/projects/larbin/files/larbin/2.6.3/larbin-2.6.3.tar.gz/download 安装: tar -zxvf larbin-2.6.3.tar.gz cd larbin-2.6.3 .

Python3 爬虫(八) -- BeautifulSoup之再次爬取CSDN博文

序 我的Python3爬虫(五)博文使用utllib基本函数以及正则表达式技术实现了爬取csdn全部博文信息的任务. 链接:Python3 爬虫(五) -- 单线程爬取我的CSDN全部博文 上一篇,我们学习了BeautifulSoup这样一个优秀的Python库,必须有效利用起来.那么我们就利用BeautifulSoup4重新实现一次爬取csdn博文的任务. 由于我修改了博客配置,首页主题换了一下,我们基于新的主题查看网页,如下图所示: 同样的,确认要提取的信息,以及博文总页数. 分析网页源码

Python3爬虫(十八) Scrapy框架(二)

对Scrapy框架(一)的补充 Infi-chu: http://www.cnblogs.com/Infi-chu/ Scrapy优点:    提供了内置的 HTTP 缓存 ,以加速本地开发 .    提供了自动节流调节机制,而且具有遵守 robots.txt 的设置的能力.    可以定义爬行深度的限制,以避免爬虫进入死循环链接 .    会自动保留会话.    执行自动 HTTP 基本认证 . 不需要明确保存状态.    可以自动填写登录表单.    Scrapy 有一个 内置的中间件 ,

python3爬虫之Urllib库(二)

在上一篇文章中,我们大概讲了一下urllib库中最重要的两个请求方法:urlopen()  和  Request() 但是仅仅凭借那两个方法无法执行一些更高级的请求,如Cookies处理,代理设置等等. 这是就是Handler大显神威的时候了,简单地说,他是各种处理器,有处理验证登录的,有处理Cookies的,有处理代理设置的. 高级用法 首先说一下urllib.request模块中的BaseHandler类,他是所有类的基类,它提供了最基本的方法,如:default_open()   prot

python3 爬虫小例子

#!/usr/bin/env python# -*- coding: utf-8 -*- import sys,reimport urllib.request,urllib.parse,http.cookiejar class myW3():    def login(self):        'post 数据'        data = {"uid":self.uid,'password':self.password,'actionFlag':'loginAuthenticate

python3爬虫--反爬虫应对机制

python3爬虫--反爬虫应对机制 内容来源于: Python3网络爬虫开发实战: 网络爬虫教程(python2): 前言: 反爬虫更多是一种攻防战,针对网站的反爬虫处理来采取对应的应对机制,一般需要考虑以下方面: ①访问终端限制:这种可通过伪造动态的UA实现: ②访问次数限制:网站一般通过cookie/IP定位,可通过禁用cookie,或使用cookie池/IP池来反制: ③访问时间限制:延迟请求应对: ④盗链问题:通俗讲就是,某个网页的请求是有迹可循的,比如知乎的问题回答详情页,正常用户行