urllib2和requests的区别

若只使用python3.X, 下面可以不看了, 记住有个urllib的库就行了

python2.X 有这些库名可用: urllib, urllib2, urllib3, httplib, httplib2, requests

python3.X 有这些库名可用: urllib, urllib3, httplib2, requests

两者都有的urllib3和requests, 它们不是标准库. urllib3 提供线程安全连接池和文件post支持,与urllib及urllib2的关系不大. requests 自称HTTP for Humans, 使用更简洁方便

对于python2.X:
urllib和urllib2的主要区别:

urllib2可以接受Request对象为URL设置头信息,修改用户代理,设置cookie等, urllib只能接受一个普通的URL.
urllib提供一些比较原始基础的方法而urllib2没有这些, 比如 urlencode
urllib官方文档的几个例子

使用带参数的GET方法取回URL
>>> import urllib
>>> params = urllib.urlencode({‘spam‘: 1, ‘eggs‘: 2, ‘bacon‘: 0})
>>> f = urllib.urlopen("http://www.musi-cal.com/cgi-bin/query?%s" % params)
>>> print f.read()
使用POST方法
>>> import urllib
>>> params = urllib.urlencode({‘spam‘: 1, ‘eggs‘: 2, ‘bacon‘: 0})
>>> f = urllib.urlopen("http://www.musi-cal.com/cgi-bin/query", params)
>>> print f.read()
使用HTTP代理,自动跟踪重定向
>>> import urllib
>>> proxies = {‘http‘: ‘http://proxy.example.com:8080/‘}
>>> opener = urllib.FancyURLopener(proxies)
>>> f = opener.open("http://www.python.org")
>>> f.read()
不使用代理
>>> import urllib
>>> opener = urllib.FancyURLopener({})
>>> f = opener.open("http://www.python.org/")
>>> f.read()

urllib2的几个官方文档的例子:

GET一个URL
>>> import urllib2
>>> f = urllib2.urlopen(‘http://www.python.org/‘)
>>> print f.read()

使用基本的HTTP认证
import urllib2
auth_handler = urllib2.HTTPBasicAuthHandler()
auth_handler.add_password(realm=‘PDQ Application‘,
                          uri=‘https://mahler:8092/site-updates.py‘,
                          user=‘klem‘,
                          passwd=‘kadidd!ehopper‘)
opener = urllib2.build_opener(auth_handler)
urllib2.install_opener(opener)
urllib2.urlopen(‘http://www.example.com/login.html‘)
build_opener() 默认提供很多处理程序, 包括代理处理程序, 代理默认会被设置为环境变量所提供的.

一个使用代理的例子
proxy_handler = urllib2.ProxyHandler({‘http‘: ‘http://www.example.com:3128/‘})
proxy_auth_handler = urllib2.ProxyBasicAuthHandler()
proxy_auth_handler.add_password(‘realm‘, ‘host‘, ‘username‘, ‘password‘)

opener = urllib2.build_opener(proxy_handler, proxy_auth_handler)
opener.open(‘http://www.example.com/login.html‘)

添加HTTP请求头部
import urllib2
req = urllib2.Request(‘http://www.example.com/‘)
req.add_header(‘Referer‘, ‘http://www.python.org/‘)
r = urllib2.urlopen(req)

更改User-agent
import urllib2
opener = urllib2.build_opener()
opener.addheaders = [(‘User-agent‘, ‘Mozilla/5.0‘)]
opener.open(‘http://www.example.com/‘)

httplib 和 httplib2 httplib 是http客户端协议的实现,通常不直接使用, urllib是以httplib为基础 httplib2 是第三方库, 比httplib有更多特性

httplib比较底层,一般使用的话用urllib和urllib2即可

对于python3.X:
这里urllib成了一个包, 此包分成了几个模块,

urllib.request 用于打开和读取URL,
urllib.error 用于处理前面request引起的异常,
urllib.parse 用于解析URL,
urllib.robotparser用于解析robots.txt文件

python2.X 中的 urllib.urlopen()被废弃, urllib2.urlopen()相当于python3.X中的urllib.request.urlopen()

几个官方例子:

GET一个URL
>>> import urllib.request
>>> with urllib.request.urlopen(‘http://www.python.org/‘) as f:
...     print(f.read(300))

PUT一个请求
import urllib.request
DATA=b‘some data‘
req = urllib.request.Request(url=‘http://localhost:8080‘, data=DATA,method=‘PUT‘)
with urllib.request.urlopen(req) as f:
    pass
print(f.status)
print(f.reason)

基本的HTTP认证
import urllib.request
auth_handler = urllib.request.HTTPBasicAuthHandler()
auth_handler.add_password(realm=‘PDQ Application‘,
                          uri=‘https://mahler:8092/site-updates.py‘,
                          user=‘klem‘,
                          passwd=‘kadidd!ehopper‘)
opener = urllib.request.build_opener(auth_handler)
urllib.request.install_opener(opener)
urllib.request.urlopen(‘http://www.example.com/login.html‘)

使用proxy
proxy_handler = urllib.request.ProxyHandler({‘http‘: ‘http://www.example.com:3128/‘})
proxy_auth_handler = urllib.request.ProxyBasicAuthHandler()
proxy_auth_handler.add_password(‘realm‘, ‘host‘, ‘username‘, ‘password‘)

opener = urllib.request.build_opener(proxy_handler, proxy_auth_handler)
opener.open(‘http://www.example.com/login.html‘)

添加头部
import urllib.request
req = urllib.request.Request(‘http://www.example.com/‘)
req.add_header(‘Referer‘, ‘http://www.python.org/‘)
r = urllib.request.urlopen(req)

更改User-agent
import urllib.request
opener = urllib.request.build_opener()
opener.addheaders = [(‘User-agent‘, ‘Mozilla/5.0‘)]
opener.open(‘http://www.example.com/‘)

使用GET时设置URL的参数
>>> import urllib.request
>>> import urllib.parse
>>> params = urllib.parse.urlencode({‘spam‘: 1, ‘eggs‘: 2, ‘bacon‘: 0})
>>> url = "http://www.musi-cal.com/cgi-bin/query?%s" % params
>>> with urllib.request.urlopen(url) as f:
...     print(f.read().decode(‘utf-8‘))
...

使用POST时设置参数
>>> import urllib.request
>>> import urllib.parse
>>> data = urllib.parse.urlencode({‘spam‘: 1, ‘eggs‘: 2, ‘bacon‘: 0})
>>> data = data.encode(‘ascii‘)
>>> with urllib.request.urlopen("http://requestb.in/xrbl82xr", data) as f:
...     print(f.read().decode(‘utf-8‘))
...

指定proxy
>>> import urllib.request
>>> proxies = {‘http‘: ‘http://proxy.example.com:8080/‘}
>>> opener = urllib.request.FancyURLopener(proxies)
>>> with opener.open("http://www.python.org") as f:
...     f.read().decode(‘utf-8‘)
...
不使用proxy, 覆盖环境变量的proxy
>>> import urllib.request
>>> opener = urllib.request.FancyURLopener({})
>>> with opener.open("http://www.python.org/") as f:
...     f.read().decode(‘utf-8‘)
...

原文地址:https://www.cnblogs.com/heyy520/p/9873955.html

时间: 2024-10-29 15:28:21

urllib2和requests的区别的相关文章

Python——深入理解urllib、urllib2及requests(requests不建议使用?)

深入理解urllib.urllib2及requests            python Python 是一种面向对象.解释型计算机程序设计语言,由Guido van Rossum于1989年底发明,第一个公开发行版发行于1991年,Python 源代码同样遵循 GPL(GNU General Public License)协议[1] .Python语法简洁而清晰,具有丰富和强大的类库. urllib and urllib2 区别 urllib和urllib2模块都做与请求URL相关的操作,但

urllib,urllib2和 urllib3的区别

在python 的网络模块中,使用频率最高的莫过于 urllib 了,因为里面包含了打开网址发送请求的方法:但是 python 中 urllib 的功能,随着互联网的发展,也在迭代进步,所以有了 urllib,urllib2和 urllib3,他们之间有啥区别呢,下面一一阐述: 1.) python 中最早内置拥有的网络请求模块就是 urllib,我们可以看一下 urllib 中的所有方法: 2.) urllib2模块中的所有方法更侧重于对于 Http 请求的服务: 3.) urllib3模块并

Python - cookielib [urllib2/requests]

cookie操作(读取,添加,删除,保存),结合urllib2和requests进行说明,此处只做局部演示,如果有疑问,请查阅: (Author: nixawk) https://docs.python.org/2/library/cookielib.html https://hg.python.org/cpython/file/2.7/Lib/cookielib.py #!/usr/bin/env python # -*- encoding: utf-8 -*- from cookielib

Python第三方包 requests还是urllib?

我注意到一个很奇怪的事情.在极客学院爬虫课视频里,老师说要用requests,但是在其他学习群里,很多同学都在讨论urllib/urllib2相关. 然后就迷惑了,为什么会有这三个东西呢?扒了扒国内的博客网站,大多都是urllib相关,并且不推荐使用requests包.于是去墙外搜了下,竟然发现国外大多推荐用requests.我完全愣到了,完全相反的意见. 再仔细八一下,发现国内很多博客博主,只是说不建议使用requests,然后就介绍urllib,并没有说为什么不选requests:国外的稍微

python爬虫 - python requests网络请求简洁之道

http://blog.csdn.net/pipisorry/article/details/48086195 requests简介 requests是python的一个HTTP客户端库,跟urllib,urllib2类似,但是python的标准库urllib2提供了大部分需要的HTTP功能,但是API太逆天了,一个简单的功能就需要一大堆代码. Requests 使用的是 urllib3,因此继承了它的所有特性.Requests 支持 HTTP 连接保持和连接池,支持使用 cookie 保持会话

从0开始学爬虫10之urllib和requests库与github/api的交互

urllib库的使用 # coding=utf-8 import urllib2 import urllib # htpbin模拟的环境 URL_IP="http://10.11.0.215:8080" URL_GET = "http://10.11.0.215:8080/get" def use_simple_urllib2(): response = urllib2.urlopen(URL_IP) print '>>>> Response

python之代_理

1.参考 tor? http://docs.python-requests.org/en/master/user/advanced/ Using Python's urllib2 or Requests with a SOCKS5 proxy Python中Request 使用socks5代理的两种方法(个人推荐方法二) How to make python Requests work via socks proxy Connecting to a SOCKS Proxy within Pyth

第一章 Python基础知识

1.1 介绍  1.1.1 特点 Python是一种面向对象.解释型计算机程序设计语言.语法简洁清晰,强制用空白符作为语句缩进. Python具有丰富和强大的库,又被称为胶水语言.能把其他语言(主要C/C++)写的模块很轻松的结合在一起. 1.1.2 应用领域 Web网站:有很多优秀的开源Web框架,比如Django(最流行).Tornado(轻量级.异步).Flask(微型).Web.py(简单)等. 数据采集:有好用的http库,比如urllib2.requests等.还有高级的屏幕爬取及网

爬取网易新闻排行榜

#网络爬虫之最基本的爬虫:爬取[网易新闻排行榜](http://news.163.com/rank/) **一些说明:** * 使用urllib2或requests包来爬取页面. * 使用正则表达式分析一级页面,使用Xpath来分析二级页面. * 将得到的标题和链接,保存为本地文件. import os import sys import requests import re from lxml import etree def StringListSave(save_path, filenam