Forward团队-爬虫豆瓣top250项目-模块开发过程

项目托管平台地址:https://github.com/xyhcq/top250

我负责将爬取到的信息写入到文件中。

首先，先打开一个文件

# 打开文件
f=open("top250.txt","w")

然后在别的队员写的能够爬取出信息的代码上，加入将信息写入文件的的代码

def getData(html):
    # 分析代码信息，提取数据
    soup = BeautifulSoup(html, "html.parser")

    # 找到第一个class属性值为grid_view的ol标签
    movieList=soup.find(‘ol‘,attrs={‘class‘:‘grid_view‘})

    # 找到所有的li标签
    for movieLi in movieList.find_all(‘li‘):
        # 找到第一个class属性值为hd的div标签
        movieHd=movieLi.find(‘div‘,attrs={‘class‘:‘hd‘})
        # 找到第一个class属性值为title的span标签 #也可使用.string方法

        # 获取电影名字
        movieName=movieHd.find(‘span‘,attrs={‘class‘:‘title‘}).getText()
        print movieName
        f.write(‘电影名:‘+movieName.encode(‘utf-8‘)+‘    ‘)

        # 获取电影链接
        movieUrl=movieHd.find(‘a class="" href="‘)
        print movieUrl
        # 写入文件
        f.write(‘链接:‘+str(movieUrl)+‘    ‘)

        # 获取电影导演/演员
        movieBd = movieLi.find(‘div‘, attrs={‘class‘: ‘bd‘})
        movieSF=movieBd.find(‘p‘,attrs={‘class‘:‘‘}).getText()
        print movieSF
        # 写入文件
        f.write(‘Staff:‘+movieSF.encode(‘utf-8‘)+‘    ‘)

        # 获取电影的评分
        movieScore=movieLi.find(‘span‘,attrs={‘class‘:‘rating_num‘}).getText()
        print movieScore
        # 写入文件
        f.write(‘评分:‘+movieScore.encode(‘utf-8‘)+‘    ‘)

        #获取电影的评论数
        movieEval=movieLi.find(‘div‘,attrs={‘class‘:‘star‘})
        movieEvalNum=re.findall(r‘\d+‘,str(movieEval))[-1]
        print movieEvalNum
        f.write(‘评论数:‘+movieEvalNum.encode(‘utf-8‘)+‘    ‘)

        # 获取电影短评
        movieQuote = movieLi.find(‘span‘, attrs={‘class‘: ‘inq‘})
        # 有的电影没有短评，为防止报错，加次
        if(movieQuote):
            print movieQuote.getText()
            # 写入文件
            f.write(‘短评:‘+movieQuote.getText().encode(‘utf-8‘)+‘\n‘)
        else:
            # 写入文件
            f.write(‘短评:‘+"这个电影没有短评"+‘\n‘)

最后还要注意，写入完成后如果不闭文件会导致文件写入不全。

# 关闭文件，否则容易写入不全
f.close()