前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
作者：HOT_and_COOl
利用爬虫可以进行数据挖掘，比如可以爬取别人的网页，收集有用的数据进行整合和划分，简单的就是用程序爬取网页上的所有图片并保存在自己新建的文件夹内，还有可以爬社交网站的自拍图，将几十万张的图片合在一起，就知道大众的模样。也可以将爬取的数据进行处理，生成一种可视化的东西。另外如果你python爬虫没学好，建议去小编的Python交流.裙 ：一久武其而而流一思（数字的谐音）转换下可以找到了，里面有最新Python教程项目，多跟里面的大佬交流！
二.请求网页的过程
（注：编者用的环境为Python3.6.1,python2.x和Python3.x在这个上有所不同，2.x有两个urllib和urllib2，而3.x只有urllib）
主要用到urllib这个库
请求的网页的过程简单的理解就是向服务器发送一个头信息，然后返回一个信息。
可以查看网页的元素看到，
常见的所使用的方法也就是GET，POST
在过滤消息头里可以看出有个参数就是User-Agent,这个就是访问请求的环境，一般为浏览器，如果用程序访问时，为Python3.x，这是就不允许访问了，防止恶意访问，但也有方法伪装
三.简单的爬个网页
-
import urllib.resquest
-
url="http://www.baidu.com"
-
response=urllib.resquest.urlopen(url)
-
html=respose.read()
-
for eachline in html:
-
print(eachline)
url分为三部分
①第一部分是协议(或称为服务方式)。
②第二部分是存有该资源的主机IP地址(有时也包括端口号)。
③第三部分是主机资源的具体地址，如目录和文件名等。
四.一个好玩的翻译的例子，让你分分钟了解爬虫的好玩之处
-
import urllib.request
-
import urllib.parse
-
import json
-
content=input("请输入需要翻译的内容:\n")
-
url=‘http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=https://www.baidu.com/link‘
-
data={}
-
data[‘type‘]=‘AUTO‘
-
data[‘i‘]=content
-
data[‘doctype‘]=‘json‘
-
data[‘xmlVersion‘]=‘1.8‘
-
data[‘keyfrom‘]=‘fanyi.web‘
-
data[‘ue‘]=‘UTF-8‘
-
data[‘action‘]=‘FY_BY_CLICKBUTTTON‘
-
data[‘typoResult‘]=‘true‘
-
data=urllib.parse.urlencode(data).encode(‘utf-8‘)
-
response=urllib.request.urlopen(url,data)
-
html=response.read().decode(‘utf-8‘)
-
target=json.loads(html)
-
print(‘翻译结果为：%s‘ % (target[‘translateResult‘][0][0][‘tgt‘]))
urllib.request.urlopen(url,data)data为图中的请求数据
url为上上图中的请求网址
！
原文地址：https://www.cnblogs.com/chengxuyuanaa/p/12005015.html