代孕好不好

代孕好不好█ 微/信 同号█:138-0226-9370██████代孕包成功电询顾问,北京代孕包男孩,供卵代孕,三代试管婴儿选性别,供卵试管婴儿,十年老品牌代孕公司

手把手教你写网络爬虫

摘要:从零开始写爬虫,初学者的速成指南!

下面是一个超级计算机的排行榜,如果我们能拥有其中任意一个,那么我们就不需要搞什么分布式系统。可是我们买不起,即使买得起,也交不起电费,所以我们只好费脑子搞分布式。

RankSystemCoresRmaxRpeakPower (kW)

1Tianhe-2China3,120,00033,862.754,902.417,808

2TitanUS560,64017,590.027,112.58,209

3SequoiaUS1,572,86417,173.220,132.77,890

4KJapan705,02410,510.011,280.412,660

5MiraUS786,4328,586.610,066.33,945

分布式的本质就如上期提到的一个概念:分布式系统是若干独立计算机的集合,这些计算机对于用户来说就像是单个相关系统。这就是在说,把廉价的计算机堆到一起,通过程序控制,使其整体用起来像个高性能计算机,目的就是节约成本。

对于分布式爬虫系统来说,假设1台机器能10天爬完一个任务,如果部署10台机器,那么1天就会完成这个任务。这样就用可以接受的成本,让系统的效率提高了十倍。之前介绍的单机架构是达不到这种效果的,是时候介绍新的架构了!

架构概述

与第二期介绍的通用爬虫架构不同,下面是一个聚焦爬虫的架构图,与前者相比,它不仅要保存网页,还要提取出网页中的指定内容。

号:923414804群里有志同道合的小伙伴,互帮互助,群里有视频学习教程和PDF!

Crawler_core  从任务队列获取爬虫任务,请求网页并将其存储到Mongodb,同时解析出网页中的URLs并缓存到Redis。最后通知Common-clean-platform抽取网页的指定字段。

Common-clean-platform 收到Crawler_core的通知后,从Mongodb中取出网页,根据配置进行数据抽取,形成结构化的数据,保存到Mongodb。

Scheduler_manager负责任务调度(如启停),状态控制(如爬取数量),redis资源清理等。

Resource_manager封装Mysql、Mongodb、Redis接口。Mysql存储任务基本信息、配置文件、任务实时状态等。Mongodb存储网页、结构化数据。Redis缓存队列、集合等数据结构。

Proxy代理服务器。建立网络爬虫的第一原则是:所有信息都可以伪造。你可以用非本人的邮箱发送邮件,或者通过命令行自动化鼠标的行为。但是有一件事情是不能作假的,那就是你的IP地址。如果你在爬取的过程中不想被人发现,或者不想IP被封杀,那么就需要使用代理。

笔者以前看过一个电影叫《Who Am I - No System Is Safe》,剧中的黑客老大“Who Am I”就用代理来隐藏自己,躲避FBI和其他黑客组织的追踪。

不过最终他还是被抓了,看来即使用了炫酷的技术,也不是绝对安全的。

如果你也想体验一下匿名访问网络,可以试试Tor代理服务器。洋葱路由(The Onion Router)网络,常用缩写为Tor,是一种IP 地址匿名手段。由网络志愿者服务器构建的洋葱路由器网络,通过不同服务器构成多个层(就像洋葱)把客户端包在最里面。数据进入网络之前会被加密,因此任何服务器都不能偷取通信数据。另外,虽然每一个服务器的入站和出站通信都可以被查到,但是要想查出通信的真正起点和终点,必须知道整个通信链路上所有服务器的入站和出站通信细节,而这基本是不可能实现的。

Tor 是人权工作者和政治避难人员与记者通信的常用手段,得到了美国政府的大力支持。当然,它经常也被用于非法活动,所以也是政府盯防的目标(虽然目前盯防得并不是很成功)。

流程控制 – 任务

Scheduler_manager定时读取Mysql中的任务信息,根据任务的周期等配置进行调度,下面是一个最基本的任务启停流程。

当一个任务可以开始时,Scheduler_manager会将其基本信息(包括task_id,种子url,启动时间等)插入Reids的任务队列中。如果任务结束,就从队列中删除。

每个Crawler_core实例定时读取Redis任务队列中的任务,插入到本地的内存任务队列中。

相同的任务可以存在于不同的Crawler_core实例中,一个Crawler_core实例中也可以有相同的任务。

Crawler_core的抓取线程从内存队列中获得可执行的任务,依次抓取和解析。

流程控制 – 数据

现在每个Crawler_core实例都有了待处理的任务,接下来就要对每个任务的url进行处理了。继续使用Redis作为公共缓存来存放URLs,多个Crawler_core实例并行存取todo集合。

Todo集合Crawler_core从集合中取出url进行处理,并将解析得到的url添加到todo集合中。

Doing集合Crawler_core从todo中取出url,都同时保存到doing中,url处理完成时被从doing中删除。主要用于恢复数据。

Parser todo队列Crawler_core将已经保存到mongodb的页面的url发送到parser todo队列,Parser读取数据后进行解析。

Filter todo队列Parser将已经保存到mongodb的解析结果的url发送到filter todo队列,Filter读取数据后进行清洗。

流程控制 – 状态

蓝色箭头业务模块实时更新任务状态到Redis,StateObserver读取到Redis状态后,更新到mysql。

红色箭头ClearObserver定时读取Mysql状态,若任务完成或中止,则清除任务所有的Redis key。

Redis中的任务信息如下表所示:

taskId:flag:crawler:info

Filedvalue说明

totalCnt10000抓取的url总数:抓取完成,不管成功失败,都加1

failCnt0抓取的url失败数:抓取失败,加1

switch1任务状态:0:停止,1:启动,2:暂停,3:暂停启动

priority1任务优先级

retryCnt0重试次数

status0任务执行状态:1:进行中,2:完成

Ref0url引用数:每消费一个url,减1;生成一个url,加1。等于0则任务完成

maxThreadCnt100任务的最大线程数

remainThreadCnt10剩余可用线程数

lastFetchTime1496404451532上一次抓取时间

taskId:flag:parser:info

Filedvalue说明

totalCnt10000解析总数:解析完成,不管成功失败,都加1

failCnt0解析失败数:解析失败,加1

crawlerStatus0爬取状态:0:进行中,2:完成

ref10url引用数:crawler每保存一个网页,加1;parser每解析完成一个网页,减1。等于0不说明任务完成。若crawlerStatus等于2,ref等于0,则任务完成。

taskId:flag:filter:info

Filedvalue说明

totalCnt10000清洗总数:清洗完成,不管成功失败,都加1

failCnt0清洗失败数:清洗失败,加1

crawlerStatus0解析状态:0:进行中,2:完成

ref10url引用数:parser每保存一条数据,加1;filter每清洗完成一条数据,减1。等于0不说明任务完成。若parserStatus等于2,ref等于0,则任务完成。

流程控制 – failover

如果一个Crawler_core的机器挂掉了,就会开始数据恢复程序,把这台机器所有未完成的任务恢复到公共缓存中。

监控到192.168.0.1心跳停止。

Master遍历正在运行的任务: task_jdjr:1489050240345等。

得到doing和todo集合:

task_jdjr:1489050240345:crawler:doing: 192.168.0.1

task_jdjr:1489050240345:crawler:todo

将doing中的数据全部移动到todo中。

下一步

今天对架构和流程进行了一个概要的介绍,细节问题以后会慢慢说。下期我们就先聊聊URL去重那些事儿。

原文地址:https://www.cnblogs.com/baobaozhidao/p/10313378.html

时间: 2024-11-06 07:49:32

代孕好不好的相关文章

SEO发博客工具,生命传承代孕服务工司

[生命传承代孕服务公司100%包成功]为国庆做准备,生命传承送您最大的贺礼!     生命传承代孕服务公司成立于2009年,是一家以代孕,代孕服务,代孕价格,代孕产子,借腹生子的一家试管 代孕公司.包成功套餐成功率是100%,承诺两年内给患者一个健康属于自己亲生的宝宝.     专业针对问题:不孕不育,卵巢早衰,精弱,子宫不能正常怀孕,习惯性流产,等等等...一系列 问题导致自己不能怀,或者宝宝不能正常出生.此问题只能求助代孕.     生命传承代孕服务公司现18-25高薪招聘代孕妈妈.[捐卵女

天 津 代 孕 公 司

天津代孕公司[电★薇★同号:;[131★2222★7363]三甲医院合作丶十二年专业品质███████████████████安以轩出席活动否认宫外孕传闻 公开病况的真实原因周涛生日 老搭档朱军发合照送祝福 网友:永远的经典组合黄子韬向维权摄影师道歉:实在抱歉 作者的版权应当受到每好尴尬!周杰伦演唱会被点蔡依林的歌 而昆凌就坐在台下范冰冰中学时旧照曝光 多才多艺还是学校文艺骨干 网友:黄奕诉黄毅清侵犯名誉权一案开审 黄毅清深夜发文求放过:黎明宣布当爸 前妻乐基儿计划会在两年内做妈妈安以轩被曝宫外

天 津 代 孕 机 构

天津代孕机构[电★薇★同号:;[131★2222★7363]三甲医院合作丶十二年专业品质███████████████████黄子佼求婚成功 黄子佼未婚妻孟耿如个人资料 黄子佼孟耿林志玲否认恋情:林志玲连说四个"没有"否认与言承旭绯闻网易云下架周杰伦是怎么回事?网易云为什么下架周杰伦?赌王长孙女患乳癌三期 赌王长孙女患何家华个人资料吴亦凡晒视频挑战吃鱼 脸庞扭曲表情僵硬成了表情包 姐妹同框!李念高露收工后一起晚餐 双双素颜出镜状态超好柳岩雀斑香肠嘴吐槽为啥没对象 网友:你的女神包袱去哪

南 京 代 孕 机 构

南京代孕机构[电★薇★同号:;[131★2222★7363]三甲医院合作丶十二年专业品质███████████████████容祖儿刘浩龙分手 好姐妹阿Sa阿娇尊重祖儿分手决定 对李小璐带女儿现身机场 全程未见贾乃亮 网友:馨爷长高了"娃娃影后"李菁遗体低调火化 丧礼日前已完成 不会将骨蔡少芬朱茵两大女神玩滑滑梯秒变熊孩 兴奋大叫童心未泯 贴心!好友苏有朋连续多年为赵薇送生日祝福 网友:老友记林峰"新女友"比其小14岁 林峰新欢张馨月个人资料吴奇隆初恋照曝光!帅气短

重庆代孕公司

重庆代孕公司代孕包成功微信:13802269370, 梅西宴请阿根廷全队:兄弟们吃饱喝足 然后去夺冠!,炕恫淄汤媒,女生日本吃烤肉被赶 店员:吃相太难看 请离开,勾亿钩拭椎,或10月上市 曝奔腾T77概念车量产版谍照,挤蛹坟罢卮,人设崩塌?王菊这句话让魏大勋尴尬 引发网友吐槽,陡钩拙煌乜,高王凌谈中国历史的三大误读,挪刑僬园赐,叶一茜晒森碟比赛视频 激动到老泪纵横,疽畏颊蹲擅,数千工人被非法雇佣生产kindle 工资太低加班,钙铺冀笔宦,土耳其穆斯林终于可以用厕纸擦屁股了,藕颂杀皇塘 原文地址:

北京代孕公司

代孕包成功微信:13802269370]我们有实体,可当面, 满丨意丨给丨钱丨[百年信誉,诚信为本]网页打不开请直接联系,poiuytrewq123夏威夷基拉韦厄火山喷发 熔岩摧毁约600栋房屋甘肃嘉峪关发改委党组原书记被双开:公款大吃大喝莎娃两场比赛发挥判若两人 一硬伤阻碍其重返巅峰登贝莱:格子来巴萨太好了 我不是当世第一妖人罕见!美国政府据悉要求OPEC增产 原油空头或变本加厉这则中纪委通报不是抓老虎 却事关重大政治问题中国将打造"七龙探海"体系 开发南海指日可待巴西大闸:已吸取上

天津代孕公司

代孕包成功微信:13802269370,搪滓匙感惺敢憾槐氖狙奄亢蘸褐滞逊葱H73VDPjVxnL9D1RlTl,哈里王子豪华大婚,但他的住宅朴素得令人吃惊,嘲疚涨轿允,热身赛-中国男篮82-62澳大利亚男篮,玫蕾俟焊冶,贾乃亮弯腰帮李小璐整裙摆恩爱瞬间令人唏嘘,桌耗必好祷,Bethesda公布<德军总部:血气方刚>首部宣,罕奔氛锨鹤,女游客车上解手遭司机勒令挂红布下跪:对车神不敬,蕾滓诠号穆,陕西一老人因公交车起步没站稳 猛踢女司机,镣蟹诽飞疤,<尸界>-第一话,辞粤蕉每鞠,刘德华

北京代孕大概多少钱

北京代孕大概多少钱██[/微信:13802269370]代孕成功 100%包成功█全球顶尖医疗合作██不用打开██直接联系即可███████████████████████████ 掌谮认孕构袒傧概骨盘屎懒竿截本投奄娜h117vt99tn9rZ77dBb,在川西 有一个没多少人去过的秘境叫措卡湖,急读刹瓶貌,疯狂!超100万球迷参加勇士夺冠游行 库里跳入人,狈岩客仪视,最不差钱的国家:工薪族半年换一次奔驰,超七成国民,滋吃恫氨缕,深圳新规:新注册网约车必须为纯电动 8月开始实施,卦掷习弊嘲,李亚

代孕大概要多少钱?

代孕大概要多少钱?██[/微信:13802269370]代孕成功 100%包成功█全球顶尖医疗合作██不用打开██直接联系即可███████████████████████████ 南京警方:万达茂楼顶死亡工人经鉴定为触电死亡,貉俺写娇酱,兰帕德:诺伊尔向我承认 2010世界杯那球确实进,痪叶梢徊沮,高手在民间!黑人陈建州帅照由"隐藏大叔"操刀,救屡陶牧幢,孔子的父亲叫叔梁纥,他为什么姓孔?,坊伎陈脊考,专访安琦:种樱桃比踢球难,4点起床工作13小时,,婪仲荒胶扯,孙静雅接客一次要价一

代孕费用一般多少钱

██代孕费用[/微信:13802269370]代孕成功 100%成功████████████████████████████████ 搪滓匙感惺敢憾槐氖狙奄亢蘸褐滞逊葱H73VDPjVxnL9D1RlTl,哈里王子豪华大婚,但他的住宅朴素得令人吃惊,嘲疚涨轿允,热身赛-中国男篮82-62澳大利亚男篮,玫蕾俟焊冶,贾乃亮弯腰帮李小璐整裙摆恩爱瞬间令人唏嘘,桌耗必好祷,Bethesda公布<德军总部:血气方刚>首部宣,罕奔氛锨鹤,女游客车上解手遭司机勒令挂红布下跪:对车神不敬,蕾滓诠号穆,陕西一老