Python 开发轻量级爬虫
(imooc总结05--网页下载器)
介绍网页下载器
网页下载器是将互联网上url对应的网页下载到本地的工具。因为将网页下载到本地才能进行后续的分析处理,可以说网页下载器是爬虫的核心组件。
网页下载器类似于网页浏览器,会将url对应的互联网网页,以HTML的形式下载到本地存储一个本地文件或者本地字符串,然后才能进行后续的分析和处理。
Python有哪几种网页下载器呢?
Urllib2 – python官方的基础模块,它支持直接的url下载,
或者说向网页提交一些需要用户输入的数据,甚至支持需要登陆网页的cookie处理,需要代理访问的代理处理等这些增强功能。
Request – python第三方的插件,它提供更为强大的功能。
这里选用urllib2这个简单的模块来实现网页的下载。
网页下载器---urllib2
第一种:最简洁的方法
给定一个url,我们将其传送给urllib2.urlopen()方法,可以实现网页的下载。
首先我们import urllib2模块,然后我们可以使用urllib2的urlopen()方法,给定一个url字符串实现网页的下载,
返回的内容我们传送给response对象,然后我们可以使用response的getcode方法来获取一个状态码,根据这个状态
码来判断我们的请求是否成功。同时,我们可以使用response的read()方法来读取下载好的内容。
对应代码:
import urllib2 #直接请求 response = urllib2.urlopen(‘http://www.baidu.com‘) #获取状态码,如果是200表示获取成功 print response.getcode() #读取内容 Cont = response.read()
第二种:我们可以增强处理
添加data---我们可以向服务器提交用户输入的数据。
添加http header---我们可以向服务器提交http的头信息。
现在我们有三个参数:url、data、header,我们将这三个参数传送给urllib2的Request类,生成一个request对象。
然后我们仍然使用urllib2的urlopen方法,以request作为参数发送网页请求。
首先import urllib2,然后我们用urllib2的Request以url作为参数生成一个request对象,然后我们使用request的
add_data方法向服务器添加用户的数据。比如说我们提交a这个数据下值为1。也可以使用add_header来添加http头信息,
这里我们将我们的爬虫伪装成一个mozilla浏览器,然后使用urllib2的urlopen方法,以request作为参数来提交网页下载请求。
对应代码:
import urllib2 request = urllib2.Request(url) #添加数据 request.add_data(‘a‘,‘1‘) #添加http头信息 request.add_header(‘User-Agent‘,‘Mozilla/5.0‘) #发送请求获得结果 response = urllib2.urlopen(request)
第三种方法:添加特殊情景的处理器
举几个例子:
有些网页需要用户登录才能访问,我们需要添加cookie处理,这里使用HTTPCookieProcessor。
有些网页需要代理才能访问,我们使用ProxyHandler。
有些网页它的协议使用HTTPS加密访问的,我们使用HTTPSHandler。
还有些网页它的url存在相互自动的跳转关系,我们使用HTTPRedirectHandler来进行处理。
这些handler,我们将其传送给urllib2的build_opener方法,来创建一个opener对象。
然后我们给urllib2的install_opener这个opener对象,这样urllib2这个模块就具有了这些场景的处理能力,
然后我们仍然使用urllib2的urlopen方法以url作为参数或者request实现网页的下载。
我们增强cookie处理
首先import urllib2,cookielib这两个模块,然后创建一个CookieJar()来存储我们的cookie数据,
然后我们使用urllib2 的HTTPCookieProcessor,以刚创建的cookiejar作为参数生成一个handler。
将这个handler传送给urllib2的build_opener方法来生成一个opener对象,然后我们给urllib2的
install_opener来增强这个处理器,然后我们仍然使用urllib2的urlopen方法请求url或者request实现网页的下载。
对应代码:
import urllib2,cookielib #创建cookie容器 Cj=cookielib.CookieJar() #创建一个opener opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(Cj)) #给urllib2安装opener urllib2.install_opener(opener) #使用带有cookie的urllib2访问网页 response = urllib2.urlopen(‘http://www.baidu.com‘) print response.getcode()
时间: 2024-11-03 21:09:31