这篇文章主要对比BeautifulSoup和Selenium爬取豆瓣Top250电影信息，两种方法从本质上都是一样的，都是通过分析网页的DOM树结构进行元素定位，再定向爬取具体的电影信息，通过代码的对比，你可以进一步加深Python爬虫的印象。同时，文章给出了我以前关于爬虫的基础知识介绍，方便新手进行学习。
总之，希望文章对你有所帮助，如果存在不错或者错误的地方，还请海涵~
一. DOM树结构分析
豆瓣Top250电影网址：https://movie.douban.com/top250?format=text
通过右键Chrome浏览器"审查元素"或"检查"可以定位具体的元素，如下图所示：
图中由一部部电影构成，在HTML中对应：
<li><div class="item">......</div></li>
BeautifulSoup 通过 soup.find_all(attrs={"class":"item"}) 函数可以获取具体的信息，然后再定位具体内容，如 <span class="title">获取标题，<div class="star">获取分数和评价数。
下一步需要注意的是，定位爬取网页元素还需要进行翻页，通常有两种方法：
1.点击下一页分析URL网址进行分析它们之间的规律；
2.Selenium可以获取页码按钮进行自动点击跳转。
如下图所示，点击不同页码后分析URL：
第2页URL：https://movie.douban.com/top250?start=25&filter=
第3页URL：https://movie.douban.com/top250?start=50&filter=
所以每页共25部电影，它们是存在规律的，再写一个循环即可获取所有电影信息。
二. BeautifulSoup爬取豆瓣信息
入门推荐我的前文：[python知识] 爬虫知识之BeautifulSoup库安装及简单介绍
具体代码如下：
# -*- coding: utf-8 -*-
"""
Created on 2016-12-29 22:50
@author: Easstmount
"""
import urllib2
import re
from bs4 import BeautifulSoup
import codecs
#爬虫函数
def crawl(url):
page = urllib2.urlopen(url)
contents = page.read()
soup = BeautifulSoup(contents, "html.parser")
print u‘豆瓣电影250: 序号 \t影片名\t 评分 \t评价人数‘
infofile.write(u"豆瓣电影250: 序号 \t影片名\t 评分 \t评价人数\r\n")
print u‘爬取信息如下:\n‘
for tag in soup.find_all(attrs={"class":"item"}):
#print tag
#爬取序号
num = tag.find(‘em‘).get_text()
print num
#爬取电影名称
name = tag.find(attrs={"class":"hd"}).a.get_text()
name = name.replace(‘\n‘,‘ ‘)
print name
infofile.write(num+" "+name+"\r\n")
#电影名称
title = tag.find_all(attrs={"class":"title"})
i = 0
for n in title:
text = n.get_text()
text = text.replace(‘/‘,‘‘)
text = text.lstrip()
if i==0:
print u‘[中文标题]‘, text
infofile.write(u"[中文标题]" + text + "\r\n")
elif i==1:
print u‘[英文标题]‘, text
infofile.write(u"[英文标题]" + text + "\r\n")
i = i + 1
#爬取评分和评论数
info = tag.find(attrs={"class":"star"}).get_text()
info = info.replace(‘\n‘,‘ ‘)
info = info.lstrip()
print info
mode = re.compile(r‘\d+\.?\d*‘)
print mode.findall(info)
i = 0
for n in mode.findall(info):
if i==0:
print u‘[分数]‘, n
infofile.write(u"[分数]" + n + "\r\n")
elif i==1:
print u‘[评论]‘, n
infofile.write(u"[评论]" + n + "\r\n")
i = i + 1
#获取评语
info = tag.find(attrs={"class":"inq"})
if(info): # 132部电影 [消失的爱人] 没有影评
content = info.get_text()
print u‘[影评]‘, content
infofile.write(u"[影评]" + content + "\r\n")
print ‘‘
#主函数
if __name__ == ‘__main__‘:
infofile = codecs.open("Result_Douban.txt", ‘a‘, ‘utf-8‘)
url = ‘http://movie.douban.com/top250?format=text‘
i = 0
while i<10:
print u‘页码‘, (i+1)
num = i*25 #每次显示25部 URL序号按25增加
url = ‘https://movie.douban.com/top250?start=‘ + str(num) + ‘&filter=‘
crawl(url)
infofile.write("\r\n\r\n\r\n")
i = i + 1
infofile.close()
输出结果如下所示：
豆瓣电影250: 序号 影片名 评分 评价人数 1 肖申克的救赎 / The Shawshank Redemption / 月黑高飞(港) / 刺激1995(台) [中文标题]肖申克的救赎 [英文标题]The Shawshank Redemption [分数]9.6 [评论]761249 [影评]希望让人自由。 2 这个杀手不太冷 / Léon / 杀手莱昂 / 终极追杀令(台) [中文标题]这个杀手不太冷 [英文标题]Léon [分数]9.4 [评论]731250 [影评]怪蜀黍和小萝莉不得不说的故事。 3 霸王别姬 / 再见，我的妾 / Farewell My Concubine [中文标题]霸王别姬 [分数]9.5 [评论]535808 [影评]风华绝代。 4 阿甘正传 / Forrest Gump / 福雷斯特·冈普 [中文标题]阿甘正传 [英文标题]Forrest Gump [分数]9.4 [评论]633434 [影评]一部美国近现代史。 5 美丽人生 / La vita è bella / 一个快乐的传说(港) / Life Is Beautiful [中文标题]美丽人生 [英文标题]La vita è bella [分数]9.5 [评论]364132 [影评]最美的谎言。 6 千与千寻 / 千と千尋の神隠し / 神隐少女(台) / Spirited Away [中文标题]千与千寻 [英文标题]千と千尋の神隠し [分数]9.2 [评论]584559 [影评]最好的宫崎骏，最好的久石让。
同时输出文件Reseult_Douban.txt，如下图所示：
三. Selenium爬取豆瓣信息及Chrome爬虫介绍
入门推荐我的前文：[Python爬虫] Selenium自动登录和Locating Elements介绍
代码如下所示：
# -*- coding: utf-8 -*-
"""
Created on 2016-12-29 22:50
@author: Easstmount
"""
import time
import re
import sys
import codecs
import urllib
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
#爬虫函数
def crawl(url):
driver.get(url)
print u‘豆瓣电影250: 序号 \t影片名\t 评分 \t评价人数‘
infofile.write(u"豆瓣电影250: 序号 \t影片名\t 评分 \t评价人数\r\n")
print u‘爬取信息如下:\n‘
content = driver.find_elements_by_xpath("//div[@class=‘item‘]")
for tag in content:
print tag.text
infofile.write(tag.text+"\r\n")
print ‘‘
#主函数
if __name__ == ‘__main__‘:
driver = webdriver.Firefox()
infofile = codecs.open("Result_Douban.txt", ‘a‘, ‘utf-8‘)
url = ‘http://movie.douban.com/top250?format=text‘
i = 0
while i<10:
print u‘页码‘, (i+1)
num = i*25 #每次显示25部 URL序号按25增加
url = ‘https://movie.douban.com/top250?start=‘ + str(num) + ‘&filter=‘
crawl(url)
infofile.write("\r\n\r\n\r\n")
i = i + 1
infofile.close()
该部分代码会自动调用Firefox浏览器，然后爬取内容。调用如下所示：
同时，也可以爬取文件如下图所示，也可以再定向分析具体的节点，其方式方法也是类似的。
调用Chrome浏览器需要在：
C:\Program Files (x86)\Google\Chrome\Application
路径下放置一个 chromedriver.exe 驱动文件，再进行调用。核心代码：
chromedriver = "C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe"
os.environ["webdriver.chrome.driver"] = chromedriver
driver = webdriver.Chrome(chromedriver)
但是可能会报错如下所示，需要保持版本一致。
总结下两个代码的优缺点：BeautifulSoup比较快速，结构更加完善，但爬取如CSDN等博客会报错Forbidden；而Selenium可以调用浏览器进行爬取，自动化操作及动态操作，点击鼠标键盘等按钮比较方便，但其速度比较慢，尤其是重复的调用浏览器。
最近年尾学院事情太多了，所以很少有定量的时间进行写博客，这其实挺悲伤的，但幸运的是遇见了她，让我在百忙之中还是体会到了一些甜蜜，陪着我工作。
无需多言，彼此的心意一言一行里都能感受到爱意和温暖，follow you~
(By:Eastmount 2016-12-30 晚上12点半 http://blog.csdn.net/eastmount/ )