TeamWork#3,Week5,Performance Test of Crawlers

爬虫总体性能不错,能完成基本的网络数据爬取,没有功能上的缺陷。下图为饿了么网站商户信息爬取结果及原网站信息。

大部分信息是正确的,但也有一些错误。比如下图,小渝馆家常菜和渝码头川菜位置爬取错了。

再比如鑫蜀轩酒楼和久久丫的顺序错了。

quantity_sold这一项,有的没有数据,是网站标签的问题,不是爬虫问题。

我们会根据出现的问题,找出程序存在的错误,进一步完善爬虫程序。

时间: 2024-10-16 10:26:52

TeamWork#3,Week5,Performance Test of Crawlers的相关文章

TeamWork#3,Week5,Release Notes of the Alpha Version

在这里的是一款你时下最不可或缺的一款美妙的产品. “今天哪家外卖便宜?” “今天这家店在哪个网站打折?” “这家店到底哪个菜好吃?” 这些问题你在寝室/办公室每天要问几次?还在为了找一家便宜的外卖店而下几个不同的app一个一个搜索.比较?现在你要的大礼包来啦!少年! 我们的app集成多家外卖网站的外卖服务,餐品直观的横向比较让你在外卖的海洋中买到实惠买到美味(?¯ω¯?). 所以快来体验吧啊!!!!!!!!!!!!!!!!!!!!!!!!!!!! 那么到底我们这个神奇的软件怎么用呢! 一.主要功

TeamWork#3,,Week5,Scrum Meeting 11.13

最近我们根据之前发现的问题, 补充了相关知识,正在努力修复出现的问题,调整程序结构. 成员 已完成 待完成 彭林江 之前没有考虑到网站信息更新导致的程序可变性,正在调整爬虫程序结构 更换爬虫结构 郝倩 之前没有考虑到网站信息更新导致的程序可变性,正在调整爬虫程序结构 更换爬虫结构 高雅智 管理任务进度,重定位人力资源和计划更新 按计划重定位任务,就爬虫部分与同学讨论并尝试更换爬虫结构 牛强 因爬虫未完成所以没有进行相关测试工作 与张明培育研究安卓的服务器网络连接 王卓 完成了UI初步设计 与实现

TeamWork#3,Week5,Scrum Meeting 11.9

由于经验不足和储备知识不够,最近我们的项目遇到了一些技术问题,需要对项目进行重新计划.我们总结了经验教训,找出了问题所在,明确了要补充的知识,加紧学习,将会在一周之内解决相关问题. 成员 已完成 待完成 彭林江 爬虫因技术问题正在补充相关知识 更换爬虫结构 郝倩 爬虫因技术问题正在补充相关知识 更换爬虫结构 高雅智 管理任务进度,重定位人力资源和计划更新 按计划重定位任务,就爬虫部分与同学讨论并尝试更换爬虫结构 牛强 因爬虫未完成所以没有进行相关测试工作 与张明培育研究安卓的服务器网络连接 王卓

TeamWork#3,Week5,Bing Input Method vs Sogou Input Method

现在电脑上用五笔的朋友估计越来越少了,好的拼音输入法也是难求.“必应输入法”的前身“英库拼音输入法”来自微软亚洲研究院的多项基础研究成果.最新的必应输入法不仅保留了英库拼音输入法的各项优势,还结合了必应的搜索体验,同时将输入法的应用平台开放化.搜狗输入法是搜狐公司推出的一款汉字拼音输入法软件,号称是当前网上最流行.用户好评率最高.功能最强大的拼音输入法.那么这两款输入法到底怎么样?好用吗?到底孰优孰劣?我们通过定性定量的总结分析,深入剖析这两款软件,对比了各个方面,总结出了这两款软件的强项和弱项

TeamWork#3,Week5,Scrum Meeting 11.15

经过最近一段时间的努力,我们调整了爬虫结构,并在继续进行爬虫开发,马上可以进行新爬虫与服务器连接的测试. 成员 已完成 待完成 彭林江 基本完成爬虫结构调整 新爬虫与服务器连接 郝倩 基本完成爬虫结构调整 新爬虫与服务器连接 高雅智 重定位人力资源和计划更新,就爬虫部分与同学讨论并尝试更换爬虫结构 管理任务进度,按计划重定位任务 牛强 因爬虫未完成所以没有进行相关测试工作 进行爬虫与服务器连接的测试 王卓 完成了UI初步设计 与实现者共同实现UI,修改问题 张明培育 完成了一部分UI 继续进一步

TeamWork#3,Week5,The First Meeting of Our Team

sixsix第一次会议记录 [会议时间]2014年10月23日星期四19:00-20:00 [会议形式]小组讨论 [会议地点]5号公寓 [会议主持]高雅智 [会议记录]张志浩 会议整体流程 一.签到 二.确定团队项目 三.确定成员分工 四.确定初步工作计划 五.注意事项 会议详细记录 一.签到 本次到会人员: 牛强,张明培育,高雅智,彭林江,张志浩,王卓,郝倩(全部到齐) 二.确定团队项目 我们拿到的是自选题目,所以首先要定下做什么.同学们提出了两个方案,一个是跨网站的购物车,一个是外卖优惠推送

TeamWork#3,Week5,Scrum Meeting 11.14

根据最近项目出现的问题,我们明确了需要补充的工作,添加了几项任务. 成员 已完成 待完成 彭林江 由于网站信息更新,正在调整爬虫程序结构 更换爬虫结构 郝倩 由于网站信息更新,正在调整爬虫程序结构 更换爬虫结构 高雅智 重定位人力资源和计划更新,就爬虫部分与同学讨论并尝试更换爬虫结构 管理任务进度,按计划重定位任务 牛强 因爬虫未完成所以没有进行相关测试工作 与张明培育研究安卓的服务器网络连接 王卓 完成了UI初步设计 与实现者共同实现UI,修改问题 张明培育 完成了一部分UI 继续进一步实现U

TeamWork#3,Week5,Scrum Meeting 11.6, 11.7, 11.11, 11.12

11.6:到目前为止基本已完成相关知识的学习,各方面工作都开始进行,一开始进行比较慢. 11.7:项目遇到困难,需要补充相关知识,进度慢了下来. 11.11:各方面工作进展比较顺利,没有什么大问题. 11.12:爬虫程序出现问题,没有考虑到网站信息更新导致的爬虫程序可变性,下一步要更换爬虫结构.同时进行UI设计和改善.

TeamWork#3,Week5,Introduction to the "take-away" Sale Selection Project

一.NABCD 1.N(Need 需求) 当今社会生活节奏快,大学生.上班族叫外卖比较普遍,美团.饿了吗竞争激烈,产生了大量外卖优惠信息.而网络上外卖信息比较混乱,价格.口味.优惠活动等各有优劣,客户往往被多种外卖的不同优势所吸引,难以做出选择,所以很难在短时间内找到适合自己的外卖.而且现在还没有对外卖信息进行筛选.分析的软件,急需一款为大学生.上班族推荐外卖的软件,为用户推荐最优惠.最适合他们的外卖. 2.A(Approach 做法) 我们通过爬取外卖网站的商户和餐饮优惠信息,将现有的两家主流