#python爬虫：爬取糗事百科段子

#出处:http://python.jobbole.com/81351/#确定url并抓取页面代码，url自己写一个import urllib,urllib2def getUrl():    page=1    url="http://www.qiushibaike.com/hot/page/"+str(page)    try:        request=urllib2.Request(url)        response=urllib2.urlopen(request)        print response.read()    except urllib2.URLError,e:        if hasattr(e,‘code‘):            print e.code        if hasattr(e,‘reason‘):            print e.reason#getUrl()#运行错误def getUrl():    page=1    url="http://www.qiushibaike.com/hot/page/"+str(page)    user_age=‘Mozilla/4.0(compatible;MSIE5.5;Windows NT)‘    headres={‘User-Agent‘:user_age}    try:        request=urllib2.Request(url,headers=headres)        response=urllib2.urlopen(request)        print response.read()    except urllib2.URLError,e:        if hasattr(e,‘code‘):            print e.code        if hasattr(e,‘reason‘):            print e.reason#这样打印出页面的源代码#提取某一页的所有段子#要求:获取发布人，发布日期，段子内容，点赞的个数,但是有些段子是带图片，在控制台不能显示图片，所以需要把带有图片的段子给删除掉，只保存仅文本段子#目的通过正则匹配来寻找所有要求的内容，方法如下import redef getUrl1():    page=1    url="http://www.qiushibaike.com/hot/page/"+str(page)    user_age=‘Mozilla/4.0(compatible;MSIE5.5;Windows NT)‘    headres={‘User-Agent‘:user_age}    try:        request=urllib2.Request(url,headers=headres)        response=urllib2.urlopen(request)

        content=response.read().decode(‘utf-8‘)

        pattern=re.compile(‘<div.*?class="author.*?>.*?<a.*?</a>.*?<a.*?>(.*?)</a>.*?<div.*?class‘+                         ‘="content".*?title="(.*?)">(.*?)</div>(.*?)<div class="stats.*?class="number">(.*?)</i>‘,re.S)        items=re.findall(pattern,content)        for i in items:            haveImg=re.search(‘img‘,i[3])            if not haveImg:                print i[0],i[1],i[2],i[4]    except urllib2.URLError,e:        if hasattr(e,‘code‘):            print e.code        if hasattr(e,‘reason‘):            print e.reason#利用面向对象模式编程import urllib,urllib2,re,thread,timeclass QSBK:    def __init__(self):        self.pageIndex=1        self.user_agent="Mozilla/4.0(compatible;MSIE5.5;Windows NT)"        self.headres={‘User-Agent‘:self.user_agent}#初始化        self.stories=[]#存入变量        self.enable=False#是否继续运行变量    def getPage(self,pageIndex):#传入某个一页索引获得页面代码        try:            url=‘http://www.qiushibaike.com/hot/page/‘+str(pageIndex)            request=urllib2.Request(url,headers=self.headres)#构建请求            response=urllib2.urlopen(request)#利用urlopen获取页面代码            pageCode=response.read().decode(‘utf-8‘)#编码为utf-8            return pageCode        except urllib2.URLError as e:            if hasattr(e,‘reason‘):                print u‘连接失败:{0}‘.format(e.reason)                return None    #传入某一页代码，返回本页不带图片的段子列表    def getPageItems(self,index):        pageCode=self.getPage(index)        if not pageCode:            print u‘加载页面失败.....‘            return None        pattern=re.compile(‘<div.*?class="author.*?>.*?<a.*?</a>.*?<a.*?>(.*?)</a>.*?<div.*?class‘+                         ‘="content".*?title="(.*?)">(.*?)</div>(.*?)<div class="stats.*?class="number">(.*?)</i>‘,re.S)        items=re.findall(pattern,pageCode)        #用来存储每页段子们        pageStories=[]        #遍历正则表达式匹配信息        for i in items:            #是否含有图片            haveImg=re.search(‘img‘,i[3])            if not haveImg:#如果不含有图片，把它加入到列表中                #i[0]是一个段子的发布者,i[1]发布时间，i[2]内容，i[4]点赞数                pageStories.append([i[0].strip(),i[1].strip(),i[2].strip(),i[4].strip()])        return  pageStories    #加载并提取页面内容，加入到列表中    def loadPage(self):#如果当前来看的页面小于2页，则加载新一页        if self.enable==True:            if len(self.stories)<2:#获取新一页                pageS=self.getPageItems(self.pageIndex)                if pageS:                    #将该页面的段子放到全局列表中                    self.stories.append(pageS)                    self.pageIndex+=1#获取完之后页面索引加1，表示下次读取下一页    #调用该方法，每次敲回车打印输出一个段子    def getOneStory(self,page1,page):        for story in page1:#遍历一页            _input=raw_input()#等待用户输入            self.loadPage()#每当输入回车一次，判断一下是否要加载新页面            if _input==‘Q‘:#如果输入为Q则结束                self.enable=False                return            print u‘第{0}页\t发布人:{1}\t发布时间:{2}\n{3}赞:{4}\n‘.format(page,story[0],story[1],story[2],story[3])    #开始    def start(self):        print u‘正在读取信息，按回车查看新段子，Q退出>>>‘        self.enable=True#变量为真，程序可以正常运行        self.loadPage()#先加载一页内容        howpage=0#局部变量，控制当前讲到了第几页        print 11        while self.enable:            if len(self.stories)>0:                pageStories=self.stories[0]#从全局列表中获取一页段子                howpage+=1#当前读到页面加1                del self.stories[0]#传全局列表中第一个元素删除，因为已经取出                self.getOneStory(pageStories,howpage)#输出spider=QSBK()spider.start()