Python自定义豆瓣电影种类,排行,点评的爬取与存储(进阶)

Python 2.7

IDE Pycharm 5.0.3

具体Selenium及PhantomJS请看Python+Selenium+PIL+Tesseract真正自动识别验证码进行一键登录

一些自动化应用实例请看Selenium+PhantomJS自动续借图书馆书籍

至于GUI的入门使用请看Python基于Tkinter的二输入规则器(乞丐版)

比较综合的GUI例子请看基于Python的参考文献生成器1.0


想了想,还是稍微人性化一点,做个成品GUI出来

起因

没办法,在知乎预告了要做个GUI出来,吹的牛逼总得自己填坑,下次一定要慎重啊,话说也复习了一下GUI操作。。。。其实就是以前写的改改,换换输入输出而已,so ,don’t worry,Let’s do this!


目的

1.在Python自定义豆瓣电影种类,排行,点评的爬取与存储(初级)的基础上,增加了GUI界面(我嘴欠的),减少自己的键盘输入,多选用点击操作。

2.保留1特性的基础上,选择加载评论选项,把短评和长评都放在一起,修改了代码结构,扩展性更好(自认为),方便以后增加爬取主题时候的规范性制定

3.当然最后还是要打包成exe啦,不然怎么造福小伙伴呢,如何打包还是请见如何将python打包成exe文件


方案

使用Tkinter+PhantomJS+Selenium+Firefox实现


实现过程

1.get到首页后,根据选择,点击种类,然后根据输入需求,进行排序 –这里的输入时listbox中值的点击键入

2.抓取每个电影及超链接,进入超链接后,抓取当前电影的热评及长评

3.当用户所要求TOP数目大于第一页的20个时候,点击加载更多,再出现20个电影,重复2操作。

4.将输出写入输出框架中,写入txt中等操作


实现效果

py文件实现效果



打包成exe文件执行效果

如果不想要cmd窗口,只要GUI,那么在进行打包的时候请使用-w参数,

pyinstaller -F -w Selenium_PhantomJS_doubanMvGUI.py

具体操作可以看如何将python打包成exe文件


程序框架

直接上那么长的程序可能蒙圈,所以画了个简图

至于内部如何嵌套,懒得画图了,这几个模块大概知道就可以读程序了,程序很简单的。。。


代码

# -*- coding: utf-8 -*-
#Author:哈士奇说喵
#爬豆瓣高分电影及hot影评GUI版本

from selenium import webdriver
import selenium.webdriver.support.ui as ui
import time
from Tkinter import *

print "---------------system loading...please wait...---------------"

#获取电影名及URL
def getURL_Title():
    global save_name
    SUMRESOURCES=0
    url="https://movie.douban.com/"
    driver_item=webdriver.Firefox()
    wait = ui.WebDriverWait(driver_item,15)

    #构建对应字典,方便键入值得对应关系查找
    Kind_Dict={‘Hot‘:1,‘Newest‘:2,‘Classics‘:3,‘Playable‘:4,‘High Scores‘:5,
              ‘Wonderful but not popular‘:6,‘Chinese film‘:7,‘Hollywood‘:8,
              ‘Korea‘:9,‘Japan‘:10,‘Action movies‘:11,‘Comedy‘:12,‘Love story‘:13,
              ‘Science fiction‘:14,‘Thriller‘:15,‘Horror film‘:16,‘Whatever‘:17}
    #最后一个电影老是在变啊,艹
    Sort_Dict={‘Sort by hot‘:1,‘Sort by time‘:2,‘Sort by score‘:3}
    Ask_Dict={‘No film reviews‘:0,‘I like film reviews‘:1}

    #键入的值对应
    kind=Kind_Dict[Kind_Select.get(Kind_Select.curselection()).encode(‘utf-8‘)]
    sort = Sort_Dict[Sort_Select.get(Sort_Select.curselection()).encode(‘utf-8‘)]
    number = int(input_Top.get())
    ask_comments = Ask_Dict[Comment_Select.get(Comment_Select.curselection()).encode(‘utf-8‘)]
    save_name=input_SN.get()

    Ans.insert(END,"#####################################################################")
    Ans.insert(END,"                                                          Reloading                                           ")
    Ans.insert(END,",#####################################################################")
    Ans.insert(END,"---------------------------------------system loading...please wait...------------------------------------------")
    Ans.insert(END,"----------------------------------------------crawling----------------------------------------------")
    Write_txt(‘\n##########################################################################################‘,‘\n##########################################################################################‘,save_name)
    print "---------------------crawling...---------------------"

##############################################################################
#进行网页get后,先进行电影种类选择的模拟点击操作,然后再是排序方式的选择
#最后等待一会,元素都加载完了,才能开始爬电影,不然元素隐藏起来,不能被获取
#wait.until是等待元素加载完成!
##############################################################################
    #选完参数后,开始爬操作
    driver_item.get(url)
    wait.until(lambda driver: driver.find_element_by_xpath("//div[@class=‘fliter-wp‘]/div/form/div/div/label[%s]"%kind))
    driver_item.find_element_by_xpath("//div[@class=‘fliter-wp‘]/div/form/div/div/label[%s]"%kind).click()
    wait.until(lambda driver: driver.find_element_by_xpath("//div[@class=‘fliter-wp‘]/div/form/div[3]/div/label[%s]"%sort))
    driver_item.find_element_by_xpath("//div[@class=‘fliter-wp‘]/div/form/div[3]/div/label[%s]"%sort).click()

    num=number+1#比如输入想看的TOP22,那需要+1在进行操作,细节问题
    time.sleep(2)

    #打开几次“加载更多”
    num_time = num/20+1
    wait.until(lambda driver: driver.find_element_by_xpath("//div[@class=‘list-wp‘]/a[@class=‘more‘]"))

    for times in range(1,num_time):
        time.sleep(1)
        driver_item.find_element_by_xpath("//div[@class=‘list-wp‘]/a[@class=‘more‘]").click()
        time.sleep(1)
        wait.until(lambda driver: driver.find_element_by_xpath("//div[@class=‘list‘]/a[%d]"%num))
        #print ‘点击\‘加载更多\‘一次‘

    #使用wait.until使元素全部加载好能定位之后再操作,相当于try/except再套个while把

    for i in range(1,num):
        wait.until(lambda driver: driver.find_element_by_xpath("//div[@class=‘list‘]/a[%d]"%num))
        list_title=driver_item.find_element_by_xpath("//div[@class=‘list‘]/a[%d]"%i)
        print ‘----------------------------------------------‘+‘NO‘ + str(SUMRESOURCES +1)+‘----------------------------------------------‘
        print u‘电影名: ‘ + list_title.text
        print u‘链接: ‘ + list_title.get_attribute(‘href‘)
        #print unicode码自动转换为utf-8的

        #list_title.text是unicode码,需要重新编码再写入txt
        list_title_wr=list_title.text.encode(‘utf-8‘)
        list_title_url_wr=list_title.get_attribute(‘href‘)
        #写入gui的输出框中
        Ans.insert(END,‘\n------------------------------------------------‘+‘NO‘ + str(SUMRESOURCES +1)+‘----------------------------------------------‘,list_title_wr,list_title_url_wr)
        #写入txt中
        Write_txt(‘\n----------------------------------------------‘+‘NO‘ + str(SUMRESOURCES +1)+‘----------------------------------------------‘,‘‘,save_name)
        Write_txt(list_title_wr,list_title_url_wr,save_name)

        SUMRESOURCES = SUMRESOURCES +1

        #获取具体内容和评论。href是每个超链接也就是资源单独的url
        try:
            getDetails(str(list_title.get_attribute(‘href‘)),ask_comments)
        except:
            print ‘can not get the details!‘

    #爬完数据后关闭浏览器,只保留GUI进行下一步操作
    driver_item.quit()

##############################################################################
#当选择一部电影后,进入这部电影的超链接,然后才能获取
#同时别忽视元素加载的问题
#在加载长评论的时候,注意模拟点击一次小三角,不然可能会使内容隐藏
##############################################################################

def getDetails(url,comments):
    driver_detail = webdriver.PhantomJS(executable_path="phantomjs.exe")
    wait1 = ui.WebDriverWait(driver_detail,15)
    driver_detail.get(url)
    wait1.until(lambda driver: driver.find_element_by_xpath("//div[@id=‘link-report‘]/span"))
    drama = driver_detail.find_element_by_xpath("//div[@id=‘link-report‘]/span")
    print u"剧情简介:"+drama.text

    drama_wr=drama.text.encode(‘utf-8‘)
    #写入gui的输出框中
    Ans.insert(END,drama_wr)
    #写入到txt
    Write_txt(drama_wr,‘‘,save_name)

    #加载评论
    if comments == 1:

        print "--------------------------------------------Hot comments TOP----------------------------------------------"
        #加载四个短评
        for i in range(1,5):
            try:
                comments_hot = driver_detail.find_element_by_xpath("//div[@id=‘hot-comments‘]/div[%s]/div/p"%i)
                print u"最新热评:"+comments_hot.text
                comments_hot_wr=comments_hot.text.encode(‘utf-8‘)
                Ans.insert(END,"--------------------------------------------Hot comments TOP%d----------------------------------------------"%i,comments_hot_wr)
                Write_txt("--------------------------------------------Hot comments TOP%d----------------------------------------------"%i,‘‘,save_name)
                Write_txt(comments_hot_wr,‘‘,save_name)
            except:
                print ‘can not caught the comments!‘

        #尝试加载长评
        try:
            driver_detail.find_element_by_xpath("//img[@class=‘bn-arrow‘]").click()
            #wait.until(lambda driver: driver.find_element_by_xpath("//div[@class=‘review-bd‘]/div[2]/div/div"))
            time.sleep(1)

            #解决加载长评会提示剧透问题导致无法加载
            comments_get = driver_detail.find_element_by_xpath("//div[@class=‘review-bd‘]/div[2]/div")
            if comments_get.text.encode(‘utf-8‘)==‘提示: 这篇影评可能有剧透‘:
                comments_deep=driver_detail.find_element_by_xpath("//div[@class=‘review-bd‘]/div[2]/div[2]")
            else:
                comments_deep = comments_get

            print "--------------------------------------------long-comments---------------------------------------------"
            print u"深度长评:"+comments_deep.text
            comments_deep_wr=comments_deep.text.encode(‘utf-8‘)
            #写入gui的输出框中
            Ans.insert(END,"--------------------------------------------long-comments---------------------------------------------\n",comments_deep_wr)
            Write_txt("--------------------------------------------long-comments---------------------------------------------\n",‘‘,save_name)
            Write_txt(comments_deep_wr,‘‘,save_name)

        except:
            print ‘can not caught the deep_comments!‘

##############################################################################
#将print输出的写入txt中查看,也可以在cmd中查看,换行符是为了美观
##############################################################################
def Write_txt(text1=‘‘,text2=‘‘,title=‘douban.txt‘):

        with open(title,"a") as f:
            for i in text1:
                f.write(i)
            f.write("\n")
            for j in text2:
                f.write(j)
            f.write("\n")

def Clea():#清空函数
    input_Top.delete(0,END)#这里entry的delect用0
    input_SN.delete(0,END)
    Ans.delete(0,END)#text中的用0.0

root=Tk()
root.title(‘豆瓣影视抓取器beta--by哈士奇说喵‘)
#------------------------------------------输入框架--------------------------------------
frame_select=Frame(root)
title_label=Label(root,text=‘豆瓣影视TOP抓取器‘)
title_label.pack()

#---------------选择电影/电视剧-------------------
Mov_Tv=Listbox(frame_select,exportselection=False,width=9,height=4)
list_item1 = [‘Movies‘,‘TV‘]
for i in list_item1:
    Mov_Tv.insert(END,i)

scr_MT = Scrollbar(frame_select)
Mov_Tv.configure(yscrollcommand = scr_MT.set)
scr_MT[‘command‘]=Mov_Tv.yview

#---------------选择电影/电视剧   种类-------------------

Kind_Select=Listbox(frame_select,exportselection=False,width=12,height=4)
list_item2 = [‘Hot‘,‘Newest‘,‘Classics‘,‘Playable‘,‘High Scores‘,
              ‘Wonderful but not popular‘,‘Chinese film‘,‘Hollywood‘,
              ‘Korea‘,‘Japan‘,‘Action movies‘,‘Comedy‘,‘Love story‘,
              ‘Science fiction‘,‘Thriller‘,‘Horror film‘,‘Whatever‘]
for i in list_item2:
    Kind_Select.insert(END,i)

scr_Kind = Scrollbar(frame_select)
Kind_Select.configure(yscrollcommand = scr_Kind.set)
scr_Kind[‘command‘]=Kind_Select.yview

#---------------选择电影/电视剧   排序方式-------------------

Sort_Select=Listbox(frame_select,exportselection=False,width=12,height=4)
list_item3 = [‘Sort by hot‘,‘Sort by time‘,‘Sort by score‘]
for i in list_item3:
    Sort_Select.insert(END,i)

scr_Sort = Scrollbar(frame_select)
Sort_Select.configure(yscrollcommand = scr_Sort.set)
scr_Sort[‘command‘]=Sort_Select.yview

#---------------选择电影/电视剧   是否加载评论-------------------

Comment_Select=Listbox(frame_select,exportselection=False,width=16,height=4)
list_item4 = [‘No film reviews‘,‘I like film reviews‘]
for i in list_item4:
    Comment_Select.insert(END,i)

scr_Com = Scrollbar(frame_select)
Comment_Select.configure(yscrollcommand = scr_Com.set)
scr_Com[‘command‘]=Comment_Select.yview

#---------------选择电影/电视剧   选择TOP数-------------------
Label_TOP=Label(frame_select, text=‘TOP(xx)‘, font=(‘‘,10))
var_Top = StringVar()
input_Top = Entry(frame_select, textvariable=var_Top,width=8)

#---------------选择电影/电视剧   保存路径-------------------
Label_SN=Label(frame_select, text=‘SAVE_NAME(xx.txt)‘, font=(‘‘,10))
var_SN = StringVar()
input_SN = Entry(frame_select, textvariable=var_SN,width=8)

#----------------------------------------------输出框架-----------------------------------------
frame_output=Frame(root)
out_label=Label(frame_output,text=‘Details‘)
Ans = Listbox(frame_output,selectmode=MULTIPLE, height=15,width=80)#text也可以,Listbox好处在于换行

#点击crawl_button就进入getURL_Title(),点击clear_button就进入Clea()
crawl_button = Button(frame_output,text=‘crawl‘, command=getURL_Title)
clear_button = Button(frame_output,text=‘clear‘, command=Clea)

#纵向拖拽
scr_Out_y = Scrollbar(frame_output)
Ans.configure(yscrollcommand = scr_Out_y.set)
scr_Out_y[‘command‘]=Ans.yview
#横向拖拽
scr_Out_x = Scrollbar(frame_output,orient=‘horizontal‘)#ans x
Ans.configure(xscrollcommand = scr_Out_x.set)
scr_Out_x[‘command‘]=Ans.xview

#----------------------------------------------显示框架-----------------------------------------

#----------------选择框架显示--------------
frame_select.pack()
#影视框架显示
Mov_Tv.pack(side=LEFT)
scr_MT.pack(side=LEFT)
#种类框架显示
Kind_Select.pack(side=LEFT)
scr_Kind.pack(side=LEFT)
#排序框架显示
Sort_Select.pack(side=LEFT)
scr_Sort.pack(side=LEFT)
#评论框架显示
Comment_Select.pack(side=LEFT)
scr_Com.pack(side=LEFT)
#TOP输入
Label_TOP.pack()
input_Top.pack()
#SAVE NAME输入
Label_SN.pack()
input_SN.pack()

#----------------输出框架显示--------------
frame_output.pack()
out_label.pack()
crawl_button.pack(side=LEFT)

clear_button.pack(side=RIGHT)
scr_Out_y.pack(side=RIGHT)
Ans.pack()
scr_Out_x.pack()
#----------------根框架显示--------------
root.mainloop()

代码就不解释了。好好看下备注就ok了


问题及解决&Tips

1.在Python自定义豆瓣电影种类,排行,点评的爬取与存储(初级)的文章中,漏了简介的输出,这里补上,是我大意了。。添加如下代码即可(上篇已修复)

drama_wr=drama.text.encode(‘utf-8‘)
Write_txt(drama_wr,‘‘,save_name)


2.出现“提示:这篇影评可能剧透”,获取长评失败(上篇已修复),如图

问题出在这条语句上

comments_deep=driver_detail.find_element_by_xpath("//div[@class=‘review-bd‘]/div[2]/div
")

2.解决方案,分析网页元素,看看到底谁在搞鬼;

ok,一看就知道,是我们的标签平白无故多了个div,好办,直接写个判断语句填上

#解决加载长评会提示剧透问题导致无法加载
            comments_get = driver_detail.find_element_by_xpath("//div[@class=‘review-bd‘]/div[2]/div")
            if comments_get.text.encode(‘utf-8‘)==‘提示: 这篇影评可能有剧透‘:
                comments_deep=driver_detail.find_element_by_xpath("//div[@class=‘review-bd‘]/div[2]/div[2]")
            else:
                comments_deep = comments_get


3.Kind有17个选项类别,一个个写if语句好心烦,好冗余,比如这样,要写17个

if Kind_Select.get(Kind_Select.curselection()).encode(‘utf-8‘)==‘Movies‘:
        kind = 1

3.解决方案;用字典啊!!!!!!键值对应的除了字典还有更好的么???以Kind键入为例

#构建对应字典,方便键入值得对应关系查找
    Kind_Dict={‘Hot‘:1,‘Newest‘:2,‘Classics‘:3,‘Playable‘:4,‘High Scores‘:5,
              ‘Wonderful but not popular‘:6,‘Chinese film‘:7,‘Hollywood‘:8,
              ‘Korea‘:9,‘Japan‘:10,‘Action movies‘:11,‘Comedy‘:12,‘Love story‘:13,
              ‘Science fiction‘:14,‘Thriller‘:15,‘Horror film‘:16,‘Whatever‘:17}
    #最后一个电影老是在变啊,艹
    kind=Kind_Dict[Kind_Select.get(Kind_Select.curselection()).encode(‘utf-8‘)]


4.目前只做了电影的抓取,电视剧那个还没做,我只是放在上面而已,所以请测试时候不要点击“Tv”选项,里面没东西的,我以后,要是有空,应该会把它补全的。挖坑挖坑0.0


一个奇怪的问题

打包之后的文件,对某些电影抓不了长评,我已排除程序问题,原打包程序在py环境下运行可用,但是exe有的长评就抓不了。。。目前无解

请看图,以盗梦空间为例

但是一样的程序,在py下运行时可以抓到长评的

这个我实在无解,可能是pyinstaller的bug吧


EXE成品文件下载

里面包含了上个cmd版本的源文件,是个合集

基于python豆瓣自定义电影抓取GUI版本


最后

测试时间花了挺多的,主要是selenium效率有点低,而且firefox资源占用太高,对海量数据抓取不是十分有利啊。有谁知道怎么抓海量动态数据么?知道的话请留言一下咯


PS

各省被水淹没,哈尔滨也终于下大雨了,大家出行注意安全–话说我还回去的家么。。。


致谢

@MrLevo520–伪解决Selenium中调用PhantomJS无法模拟点击(click)操作

@MrLevo520–Python输出(print)内容写入txt中保存

@MrLevo520–解决网页元素无法定位(NoSuchElementException: Unable to locate element)的几种方法

@Eastmount–[Python爬虫] Selenium+Phantomjs动态获取CSDN下载资源信息和评论

@Eastmount–[Python爬虫] 在Windows下安装PIP+Phantomjs+Selenium

@MrLevo520–解决Selenium弹出新页面无法定位元素问题(Unable to locate element)

@MrLevo520–Python自定义豆瓣电影种类,排行,点评的爬取与存储(初级)

@MrLevo520–Python基于Tkinter的二输入规则器(乞丐版)

@MrLevo520–基于Python的参考文献生成器1.0

时间: 2024-10-09 21:16:30

Python自定义豆瓣电影种类,排行,点评的爬取与存储(进阶)的相关文章

[Python]从豆瓣电影批量获取看过这部电影的用户列表

前言 由于之后要做一个实验,需要用到大量豆瓣用户的电影数据,因此想到了从豆瓣电影的“看过这部电影 的豆瓣成员”页面上来获取较为活跃的豆瓣电影用户. 链接分析 这是看过"模仿游戏"的豆瓣成员的网页链接:http://movie.douban.com/subject/10463953/collections. 一页上显示了20名看过这部电影的豆瓣用户.当点击下一页时,当前连接变为:http://movie.douban.com/subject/10463953/collections?st

[感想]Web crawler with Python - 03.豆瓣电影TOP250

按照大牛的步骤简单地爬了豆瓣电影top250.过程感想记录一下. 教程链接:在这里 爬虫写完以后,一直出现错误 AttributeError: 'NoneType' object has no attribute 'find' #'nonetype'的对象没有属性发现 出错原因:调用对象是个None,然后调用出错.出错行原本是在第10页没有下一页的链接时候,判断soup.find('span', attrs={'class', 'next'}).find('a')  这句话的结果来选择返回结果,

python获取豆瓣电影TOP250的所有电影的相关信息

参考文档:https://weread.qq.com/web/reader/37132a705e2b2f37196c138k98f3284021498f137082c2e 说明:我才接触网络爬虫,在看<python网络爬虫入门到实践>一书时,作者写了个实例获取豆瓣电影TOP250的所有电影的电影名称,我在此基础上进行了更进一步的改进,获取了所有的相关信息,并用表格将这些信息保存下来. 相关知识: 网络爬虫分为三个步骤: 第一步:伪装为浏览器访问:第二步:解析网页代码:第三步:存储数据. (1)

Python爬虫-豆瓣电影 Top 250

爬取的网页地址为:https://movie.douban.com/top250 打开网页后,可观察到:TOP250的电影被分成了10个页面来展示,每个页面有25个电影. 那么要爬取所有电影的信息,就需要知道另外9个页面的URL链接. 第一页:https://movie.douban.com/top250 第二页:https://movie.douban.com/top250?start=25&filter= 第三页:https://movie.douban.com/top250?start=5

Python项目之我的第一个爬虫----爬取豆瓣图书网,统计图书数量

今天,花了一个晚上的时间边学边做,搞出了我的第一个爬虫.学习Python有两个月了,期间断断续续,但是始终放弃,今天搞了一个小项目,有种丰收的喜悦.废话不说了,直接附上我的全部代码. 1 # -*- coding:utf-8 -*- 2 __author__ = 'Young' 3 4 import re,urllib #urllib : 网页访问,返回网页的数据.内容 5 def my_get(ID):# 封装成函数方便调用 6 html = urllib.urlopen("https://r

Python爬虫:现学现用Xpath爬取豆瓣音乐

爬虫的抓取方式有好几种,正则表达式,Lxml(xpath)与Beautiful,我在网上查了一下资料,了解到三者之间的使用难度与性能 三种爬虫方式的对比. 抓取方式 性能 使用难度 正则表达式 快 困难 Lxml 快 简单 BeautifulSoup 慢 简单 这样一比较我我选择了Lxml(xpath)的方式了,虽然有三种方式,但肯定是要选择最好的方式来爬虫,这个道理大家都懂,另外有兴趣的朋友也可以去了解另外两种爬虫方式! 好了现在来讲讲xpath 由于Xpath属于lxml模块,所以首先需要安

Python爬虫入门教程 2-100 妹子图网站爬取

前言 从今天开始就要撸起袖子,直接写Python爬虫了,学习语言最好的办法就是有目的的进行,所以,接下来我将用10+篇的博客,写爬图片这一件事情.希望可以做好. 为了写好爬虫,我们需要准备一个火狐浏览器,还需要准备抓包工具,抓包工具,我使用的是CentOS自带的tcpdump,加上wireshark ,这两款软件的安装和使用,建议你还是学习一下,后面我们应该会用到. 网络请求模块requests Python中的大量开源的模块使得编码变的特别简单,我们写爬虫第一个要了解的模块就是requests

python网络爬虫学习(六)利用Pyspider+Phantomjs爬取淘宝模特图片

本篇博文在编写时参考了http://cuiqingcai.com/2652.html,向作者表示感谢 一.新的问题与工具 平时在淘宝上剁手的时候,总是会看到各种各样的模特.由于自己就读于一所男女比例三比一的工科院校--写代码之余看看美女也是极好的放松方式.但一张一张点右键–另存为又显得太过麻烦而且不切实际,毕竟图片太多了.于是,我开始考虑用万能的python来解决问题. 我们先看看淘女郎页面的URL,https://mm.taobao.com/json/request_top_list.htm?

Python爬虫:用BeautifulSoup进行NBA数据爬取

爬虫主要就是要过滤掉网页中无用的信息,抓取网页中有用的信息 一般的爬虫架构为: 在python爬虫之前先要对网页的结构知识有一定的了解,如网页的标签,网页的语言等知识,推荐去W3School: W3school链接进行了解 在进行爬虫之前还要有一些工具: 1.首先Python 的开发环境:这里我选择了python2.7,开发的IDE为了安装调试方便选择了用VS2013上的python插件,在VS上进行开发(python程序的调试与c的调试差不多较为熟悉): 2.网页源代码的查看工具:虽然每一个浏