团队-爬虫豆瓣top250项目-开发文档

https://gitee.com/npq115/pachong/blob/master/savedata.py

项目:团队-爬虫豆瓣top250

我负责的模块:data 存储处理好的抓取到的电影名称

功能:存在部分问题,代码整合后发现只能获取到排名以及电影名称

还在完善。

我编写的部分:

def saveData(datalist,savepath):
book=xlwt.Workbook(encoding=‘utf-8‘,style_compression=0)
sheet=book.add_sheet(‘豆瓣电影Top250‘,cell_overwrite_ok=True)
col=(‘电影详情链接‘,‘图片链接‘,‘影片中文名‘,‘影片外国名‘,
‘评分‘,‘评价数‘,‘概况‘,‘导演‘,‘主演‘,‘年份‘,‘地区‘,‘类别‘)
for i in range(0,12):
sheet.write(0,i,col[i])#列名

for i in range(0,250):
data=datalist[i]
for j in range(0,12):
sheet.write(i+1,j,data[j])#数据

book.save(savepath)#保存

时间: 2024-10-13 02:18:16

团队-爬虫豆瓣top250项目-开发文档的相关文章

《Forward团队-爬虫豆瓣top250项目-开发文档》

码云地址:https://github.com/xyhcq/top250 模块功能:整合代码,控制是否将信息显示出来. import requests from bs4 import BeautifulSoup import re import time import sys def getHTMLText(url,k): # 获取网页源代码 try: if(k==0): kw={} else: kw={'start':k,'filter':''} # 保存获取的网页 read = reques

Forward团队-爬虫豆瓣top250项目-开发文档

项目地址:https://github.com/xyhcq/top250 我在本次项目中负责写爬虫中对数据分析的一部分,根据马壮分析过的html,我来进一步写代码获取数据,具体的功能及实现方法我已经写在了注释里: 首先,通过访问要爬的网站,并将网站保存在变量里,为下一步数据分析做准备 def getData(html): # 分析代码信息,提取数据 soup = BeautifulSoup(html, "html.parser") 这时,如果我们print soup,是会在窗口上显示出

简单团队-爬虫豆瓣top250项目-设计文档

项目介绍: 功能需求: 面向用户: 未来规划: 以上内容源自于在课上做的ppt内容,绝对本组ppt,并且真实有效.

Forward团队-爬虫豆瓣top250项目-项目总结

托管平台地址:https://github.com/xyhcq/top250 小组名称:Forward团队 组长:马壮 成员:李志宇.刘子轩.年光宇.邢云淇.张良 我们这次团队项目内容是爬取豆瓣电影TOP250的电影信息,为什么我们选这个项目作为团队项目呢?因为在这个大数据时代,我们总有一些信息需要收集保存,而手动收集信息会很麻烦,所以选了爬取豆瓣TOP250,其实,项目爬取什么网站.内容并不重要,因为我们在这次团队项目中学会了爬虫的工作原理,以后我们想爬取别的网站那都不是事了. 这次团队项目中

团队-爬取豆瓣Top250电影-开发文档

项目托管平台地址:https://gitee.com/wangdating/movie250开发内容: 首先我们选择使用Python脚本语言开发这个项目 代码:1.使用python的request库先获取网页内容下来(目标网址首页 url: https://movie.douban.com/top250) 2.解析html文件,提取出我们要提取的信息

Forward团队-爬虫豆瓣top250项目-需求分析

一. 需求:1.爬取豆瓣电影top250. 2.获取电影名称,排名,分数,简介,导演,演员. 3.将爬取到的数据保存,以便随时查看. 3.可以将获取到的数据展示给用户. 二. 参考: 豆瓣api参考资料 小试牛刀--利用豆瓣API爬取豆瓣电影top250 三. 实施做法:用html分析网站源码,运用python编写爬虫,调用数据库进行存储和豆瓣api.json方法. 四. 特点:程序操作简单,方便,让用户一目了然. 项目团队:Forward团队

Forward团队-爬虫豆瓣top250项目-模块开发过程

项目托管平台地址:https://github.com/xyhcq/top250 我负责将爬取到的信息写入到文件中. 首先,先打开一个文件 # 打开文件 f=open("top250.txt","w") 然后在别的队员写的能够爬取出信息的代码上,加入将信息写入文件的的代码 def getData(html): # 分析代码信息,提取数据 soup = BeautifulSoup(html, "html.parser") # 找到第一个class属

Forward团队-爬虫豆瓣top250项目-最终程序

托管平台地址:https://github.com/xyhcq/top250 小组名称:Forward团队 小组成员合照: 程序运行方法: 在python中打开程序并运行:或者直接执行程序即可运行 程序运行示例及运行结果: 运行程序按照提示操作: 可以按照需求设置程序抓取内容 运行结束 可在文件中查看爬取结果

Forward团队-爬虫豆瓣top250项目-成员简介与分工

马壮:擅长html,css,分工:分析网站源码 邢云淇:掌握python,java 分工:爬虫部分代码编写 张良:熟练掌握数据库 分工:数据库部分代码编写 年光宇:掌握c#,python 分工:代码整合 李志宇:掌握c#,python 分工:代码整合 刘子轩:精通python.java 分工:bug查找与调试