---恢复内容开始---
刚刚入门爬虫，今天先对于单个图集进行爬取，过几天再进行翻页爬取。
使用requests库和BeautifulSoup库
目标网站：妹子图
今天是对于单个图集的爬取，就选择一个进行爬取，我选择的链接为：http://www.mzitu.com/123114
首先网站的分析，该网站有一定的反爬虫策略，所以应对就是加入headers（目前是小白，目前不知道具体为毛这样做）
Hostreferer = {
‘User-Agent‘:‘Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)‘,
‘Referer‘:‘http://www.mzitu.com‘
}
Picreferer = {
‘User-Agent‘:‘Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)‘,
‘Referer‘:‘http://i.meizitu.net‘
}
前一个头作为请求网站，后一个头作为破解盗链使用
获得页面HTML代码
用requests库的get方法，加上Hostreferer
def get_html(url):#获得页面html代码
req = requests.get(url, headers=Hostreferer)
html = req.text
return html
获得图集名称以及图集最大页数
分析网页构成如图所示，图集名称包含在h2标签内，且该标签在整个HTML代码里有唯一的class="main-title",
而最大页数只是被span标签包含，无法通过属性来提取。所以提取图集名称采取标签名+属性名一起提取，而最大页数就采取将span标签全部找出，最大页数在span标签中第11位，
def get_page_name(url):#获得图集最大页数和名称
html = get_html(url)
soup = BeautifulSoup(html, ‘lxml‘)
span = soup.findAll(‘span‘)
title = soup.find(‘h2‘, class_="main-title")
return span[10].text, title.text
获得图片url链接
分析页面内容，含有图片链接的img标签中有一个alt属性的值是跟图集名称相同，可以用这个来直接找到这个标签，当然也可以先找到div标签中的class属性是main-inage,再找到img的src属性，这里我就采用第一种方法。
def get_img_url(url, name):
html = get_html(url)
soup = BeautifulSoup(html, ‘lxml‘)
img_url = soup.find(‘img‘, alt= name)
return img_url[‘src‘]
将图片存入本地
得到图片url链接之后要讲图片存到本地，在请求图片url的时候要加入Picreferer，否则网站会认为你是一个爬虫，会返还给你一个盗链图
该方法传入的参数有3个，第一个是图片url，第二个当前图片的页数，用作创建文件，第三个是图集名称，在存储之前先创建了一个名称是图集名称的文件夹，这样就能将图片存入指定文件夹
def save_img(img_url, count, name):
req = requests.get(img_url, headers=Picreferer)
with open(name+‘/‘+str(count)+‘.jpg‘, ‘wb‘) as f:
f.write(req.content)
完整代码
import requests
from bs4 import BeautifulSoup
import os
Hostreferer = {
‘User-Agent‘:‘Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)‘,
‘Referer‘:‘http://www.mzitu.com‘
}
Picreferer = {
‘User-Agent‘:‘Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)‘,
‘Referer‘:‘http://i.meizitu.net‘
}
def get_page_name(url):#获得图集最大页数和名称
html = get_html(url)
soup = BeautifulSoup(html, ‘lxml‘)
span = soup.findAll(‘span‘)
title = soup.find(‘h2‘, class_="main-title")
return span[10].text, title.text
def get_html(url):#获得页面html代码
req = requests.get(url, headers=Hostreferer)
html = req.text
return html
def get_img_url(url, name):
html = get_html(url)
soup = BeautifulSoup(html, ‘lxml‘)
img_url = soup.find(‘img‘, alt= name)
return img_url[‘src‘]
def save_img(img_url, count, name):
req = requests.get(img_url, headers=Picreferer)
with open(name+‘/‘+str(count)+‘.jpg‘, ‘wb‘) as f:
f.write(req.content)
def main():
old_url = "http://www.mzitu.com/123114"
page, name = get_page_name(old_url)
os.mkdir(name)
for i in range(1, int(page)+1):
url = old_url + "/" + str(i)
img_url = get_img_url(url, name)
#print(img_url)
save_img(img_url, i, name)
print(‘保存第‘ + str(i) + ‘张图片成功‘)
main()
在main方法中先请求到图集的名称和最大页数，并且使用名称创建一个文件夹来存储图片。再从1到最大页数做一个for循环，
然后图片的每一页是 图集首页 + / + 当前页数，得到含有图片内容的url链接，后面就可以将得到图片存入本地。
爬取结果
文件夹名称即为图集名称，内部图片以页数作为文件名。
#目前就先进行一个图集的爬取，后面爬取多个图集我会尽快更新，有什么问题可以在下方评论，欢迎大家讨论。
原文地址：https://www.cnblogs.com/forever-snow/p/8506746.html