撸主听说有个网站叫他趣，里面有个社区，其中有一项叫他趣girl，撸主点进去看了下，还真不错啊，图文并茂，宅男们自己去看看就知道啦~
接下来当然就是爬取这些妹子的图片啦，不仅仅是图片，撸主发现里面的对话也很有意思，于是把对话也一并抓取下来好了。
那么问题来了，用什么工具呢？在之前的练习中已经用过urllib2，正则表达式匹配实在麻烦，这次来点稍微高级的，试试selenium；
selenium是什么？其实它是一个web自动化测试的工具，运行起来就跟我们自己操作浏览器差不多，废话不多说，下面开始。
工具：python2.7 + selenium2 python版
1 首先导入需要的模块，然后定义本地存放目录
1 # coding: utf-8 2 3 from selenium import webdriver 4 from selenium.common.exceptions import NoSuchElementException 5 from time import * 6 import os 7 import urllib2 8 9 # 文件保存路径 10 file_path = r‘F:\taqu‘
2 然后还是定义3个函数，分别用来为每个girl创建目录，保存每个girl的图片，保存每个girl的文本描述和对话；其中在保存图片的时候还是用到了urllib2
# ------------定义3个函数，用来创建每个girl的目录、保存图片、写入文本描述及对话----------------
def mkdir_for_girl(path, name):
"""
创建以标题命令的目录
:param name: 目录名称
:return: 返回创建的目录路径
"""
path = os.path.join(path, name)
if not os.path.exists(path):
os.mkdir(path)
return path
def save_pictures(path, url_list):
"""
保存图片到本地指定文件夹
:param path: 保存图片的文件夹，由mkdir_for_girl返回
:param url_list: 待保存图片的url列表
:return: none
"""
for (index, url) in enumerate(url_list):
try:
print u‘%s 正在保存第%d张图片‘ % (ctime(), index)
pic_name = str(index) + ‘.jpg‘
file_name = os.path.join(path, pic_name)
# 如果存在该图片则不保存
if os.path.exists(file_name):
print u‘%s 该图片已经存在‘ % ctime()
continue
req = urllib2.Request(url, headers={‘User-Agent‘: r‘Mozilla/5.0 (Windows NT 6.1; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0‘})
data = urllib2.urlopen(req, timeout=30).read()
f = open(file_name, ‘wb‘)
f.write(data)
f.close()
except Exception, e:
print u‘%s 第%d张图片保存失败，不处理，跳过继续处理下一张‘ % (ctime(), index)
def write_text(path, info):
"""
在path目录中创建txt文件，将info信息（girl的文本描述和对话）写入txt文件中
:param path: 保存txt文件的目录，由mkdir_for_girl返回
:param info: 要写入txt的文本内容
:return: none
"""
# 创建/打开info.txt文件，并写入内容
filename = os.path.join(path, ‘info.txt‘)
with open(filename, ‘a+‘) as fp:
fp.write(info.encode(‘utf-8‘))
fp.write(‘\n‘.encode(‘utf-8‘))
fp.write(‘\n‘.encode(‘utf-8‘))
3 定义webdirver，打开目标网页，其中切换到目标页面使用了超链接文本定位元素
# -----------------------打开页面，设置超时时间，窗口最大化----------------------- driver = webdriver.Firefox() driver.implicitly_wait(10) driver.maximize_window() driver.get(r‘http://www.taqu.cn/community/‘) # -----------------------切换到“他趣Girl”页面----------------------- driver.find_element_by_partial_link_text(u‘他趣Girl‘).click()
4 由于所有girl都在一个页面中，但是这个页面很长很长，真的很长，需要滑动很久才能滑到底部，为什么要滑动到底部呢？
因为浏览器获取的HTML源码，只有当前窗口已显示元素的代码，未显示部分的代码没有，当然selenium也定位不到那些元素了；
所以说，如果要selenium能找到所有girl，先要把页面滑动到底部，等所有girl都加载完，才能获取到包含所有girl的HTML代码。
那么问题来了，怎么滑动页面呢，通过浏览器的滚动条，但是滚动条不是HTML元素，selenium不能直接控制，这里就得借助
javascript了，在selenium中执行js代码还是可以的，具体实现看代码：
# -----------------------滑动到窗口最底部，以将所有的girl都刷新出来-----------------------
# 由于页面很长，并且需要不断下拉才会刷新，因此通过javascript来控制器滚动条向下滑动
# 但是一次滑动并不能到达底部，需要多次，那么需要多少次呢？这里采用的方式是不停的向下
# 滑动，每滑动一次，都查询下是否到达底部，怎么查询呢？这是通过查到底部的一个标志图片来判断，
# 如果没找到标志，就说明还没到达底部，需要继续滑动，如果找到就跳出循环
# 为了快速滑动，先设置超时时间为1秒driver.implicitly_wait(1)
# 不停的滑啊滑
while True:
driver.execute_script("window.scrollTo(0,document.body.scrollHeight)")
try:
# 定位页面底部的一个图片
driver.find_element_by_xpath(".//*[@id=‘waterfall-loading‘]/img[@src=‘/img/no-more.png‘]")
# 如果没抛出异常就说明找到了底部标志，跳出循环
break
except NoSuchElementException as e:
# 抛出异常说明没找到底部标志，继续向下滑动
pass
# 将超时时间改回10秒
driver.implicitly_wait(10)
5 获取到整个完整的页面后，就可以一次找出所有的girl封面图片了，这些封面图片是可以点击的，一点就打开了该girl的所有图片和对话，
这里使用的是CSS选择器，比起xpath，撸主更喜欢CSS一些
# -----------------------找到所有girl的封面图片-----------------------
# 这些封面图片是可点击的，单击都会弹出该girl的所有图片和文字描述
girls = driver.find_elements_by_css_selector("div#container img")
num = len(girls)
print u"girl总数为：%d" % num
6 最后一步了，遍历所有的封面图片，依次点击，然后抓取保存每一个girl的图片和对话，保存到本地
# -----------------------依次点击每张封面，提取每个girl的信息-----------------------
for girl in girls:
# 依次点击每一个girl的封面
girl.click()
# 每点击一个girl后，都再点击一下弹出框，以更新driver，不然driver中的缓存还是上一个girl的
# 一定要注意这一步啊，撸主当时没有做这一步，折腾了好久
driver.find_element_by_xpath("html/body/div[3]/div[2]").click()
# 提取标题，由于标题中的字符:和|不能作为文件名，将他们替换了
title = driver.find_element_by_css_selector("p.waterfall-detail-header-title").text
title = title.encode(‘utf-8‘)
title = title.replace(":", "：")
title = title.replace("|", "丨")
title = title.decode(‘utf-8‘)
# 在file_path目录下，为该girl创建以标题命名的目录
path = mkdir_for_girl(file_path, title)
# 提取该girl所有图片的URL
pics = driver.find_elements_by_css_selector("div.water-detail-content img")
pic_url = [x.get_attribute(‘src‘) for x in pics]
print u‘该girl的图片总数为：%d‘ % len(pic_url)
# 保存图片到本地以该girl标题命名的目录中
save_pictures(path, pic_url)
# 提取girl的基本介绍，并写入info.txt文件
info = driver.find_element_by_xpath("html/body/div[3]/div[2]/div[2]/div[2]").text
write_text(path, info)
# 提取所有对话，写入info.txt文件
talks = driver.find_elements_by_css_selector("div.water-detail-content p")
for t in talks:
write_text(path, t.text)
# 关闭该girl的图片
driver.find_element_by_xpath("html/body/div[3]/div[2]/div[1]/div/img").click()
print u‘该girl信息提取完成，继续处理下一个‘
sleep(1)
# -----------------------所有girl信息提取完成-----------------------
driver.close()
print u‘恭喜，所有girl信息提取完成！‘
7 试着运行下，看下输出，是不是有点小激动
girl总数为：90 该girl的图片总数为：12 Sat May 14 09:24:54 2016 正在保存第0张图片 Sat May 14 09:24:54 2016 正在保存第1张图片 Sat May 14 09:24:54 2016 正在保存第2张图片 。 。省略很多 。 Sat May 14 09:33:36 2016 正在保存第9张图片 Sat May 14 09:33:37 2016 正在保存第10张图片 Sat May 14 09:33:37 2016 正在保存第11张图片 该girl信息提取完成，继续处理下一个 恭喜，所有girl信息提取完成！
8 再看下本地目录，是不是很激动？
说明：上面的代码是完整的，将所有的分段合并在一起就可以运行了。这里可以看到，selenium是很强大的，不仅仅是web自动化工具哦，
还是爬虫利器呢；但是，但是这里有个缺点就是，selenium会打开浏览器UI，这样操作起来就有点偏慢了，有没有更好的解决方案呢？---有的！