第二讲：几个爬取网页的实例

　　本讲通过几个实例来讲述一下爬取网页的基本操作，同时也复习一下上节课的内容，相信还记得通用的代码框架吧，本讲还需要用到它，哈哈哈，是不能忘记滴。

　　好了，开始！

　　第一个实例：

 1 ‘‘‘小说爬取‘‘‘
 2
 3 import requests
 4
 5
 6
 7 def getHTML_Text(url):
 8
 9     try:
10
11         r = requests.get(url,timeout = 20)
12
13         r.raise_for_status() #如果状态不是200，则产生异常
14
15         r.encoding = r.apparent_encoding
16
17         return r.text
18
19     except:
20
21         return ‘产生异常‘
22
23
24
25 if __name__ == ‘__main__‘:
26
27 url = ‘http://wanmeishijiexiaoshuo.org/book/9.html‘
28
29 #上面是某小说网站的其中一章小说内容
30
31 print(getHTML_Text(url)[:5000])

　　让我们来运行一下看看结果：

　　看吧，都是小说的内容，爬下来了吧，懂了操作了吧，简单来说就是输入小说网站的url，然后爬取的框架就能自动爬取下来了。

　　下面看第二个实例：

 1 ‘‘‘亚马逊商场爬取‘‘
 2
 3 import requests
 4
 5
 6
 7 def getHTML_Text(url):
 8
 9     try:
10
11         kv = {‘user-agent‘:‘Mozilla/5.0‘} #headers头信息
12
13         r = requests.get(url,timeout = 20,headers = kv)
14
15         r.raise_for_status() #如果状态不是200，则产生异常
16
17         r.encoding = r.apparent_encoding
18
19         return r.text
20
21     except:
22
23         return ‘产生异常‘
24
25
26
27 if __name__ == ‘__main__‘:
28
29     url = ‘https://www.amazon.cn/‘
30
31 print(getHTML_Text(url)[:5000])

　　看看运行结果：

　　挺乱七八糟的，但是这不是重点，重点是我们获取了全部response的信息，到后面我们会涉及到提取有用的信息，现在先不要着急哈，慢慢来，饭要一口一口吃。

　　kv = {‘user-agent‘:‘Mozilla/5.0‘} #headers头信息

　　r = requests.get(url,timeout = 20,headers = kv)

　　还记得前面提到的get()方法里面的还有几个未提及的参数吗，这里的headers就是其中一个，添加了头信息之后，爬虫会伪装成Mozilla浏览器对目标url发送请求，如果对方服务器是能识别爬虫的，不伪装一下肯能分分钟被拒绝访问，这里我们添加了kv 字典作为头信息，在一定程度上提升了爬虫的能力，哈哈哈，下面看下一个例子。

　　实例三：

 1 ‘‘‘百度搜索‘‘‘
 2
 3 import requests
 4
 5
 6
 7 def getHTML_Text(url):
 8
 9     try:
10
11         kv = {‘user-agent‘:‘Mozilla/5.0‘}
12
13         wd = {‘wd‘:‘北京天气‘}
14
15         r = requests.get(url,timeout = 20,params = wd ,headers = kv)
16
17         r.raise_for_status() #如果状态不是200，则产生异常
18
19         r.encoding = r.apparent_encoding
20
21         return r.text
22
23     except:
24
25         return ‘产生异常‘
26
27
28
29 if __name__ == ‘__main__‘:
30
31     url = "http://www.baidu.com/s?"
32
33     print(getHTML_Text(url)[:5000])

　　看看运行结果：

　　我#@￥！@%！@#

　　冷静一下，再改改：

 1 ‘‘‘百度搜索‘‘‘
 2
 3 import requests
 4
 5
 6
 7 def getHTML_Text(url):
 8
 9     try:
10
11         wd = {‘wd‘:‘北京天气‘}
12
13         r = requests.get(url,timeout = 20,params = wd)
14
15         r.raise_for_status() #如果状态不是200，则产生异常
16
17         r.encoding = r.apparent_encoding
18
19         return r.text
20
21     except:
22
23         return ‘产生异常‘
24
25
26
27 if __name__ == ‘__main__‘:
28
29     url = "http://www.baidu.com/s?"
30
31     print(getHTML_Text(url)[:5000])

　　运行结果：

　　已经有结果了，原因是那个headers 的参数我们模拟的是Mozilla浏览器，百度的服务器直接拒绝访问了，没事，问题不大，我们注重的是过程，不用这些细节。

　　好了，经过上面3个实例，相信对requests.get()方法的使用有更深的理解了吧，最后总结一下get()方法的参数。

　　这些参数会随着以后的学习逐步深入，本期到此结束。

原文地址：https://www.cnblogs.com/shuaiqi-XCJ/p/8981975.html