利用DHT网络,爬取bt种子。

DHT网络爬虫

传统的Bittorrent服务

传统的BT服务是由两部份组成的,tracker服务和p2p服务,通过前者用户可以知道谁拥有资源,后者是通过前者向拥有资源的用户发起下载。

Trackerless

目前在大多数国家,提供tracker服务都是非法的。最终有一天tracker服务会像edonkey的服务一样消失。trackerless的需求于是变得迫切起来。

DHT网络

DHT网络就是解决trackerless目前运用最广的方案,核心算法叫Kademlia,也就是所谓的异或算法。在Bittorrent中它叫DHT,在edonkey中它叫Kad,两者算法是一至的,但细节不同,前者更注重文件传输,后者更在意文件分享。

什么是NodeID和InfoHash

在DHT网络中,所有的用户和资源都有一个20bytes的ID,用户叫NodeID,资源叫InfoHash。NodeID通常是根据用户的IP端口计算得出的(但在DHT爬虫中可以随机获取一个20bytes的串,无关紧要),InfoHash是根据torrent种子文件的info字段,用hash sha1计算得出的。在DHT协议中,

NodeID可以通过以下代码简单的得到

const nodeID = crypto.createHash(‘sha1‘).update(Math.random()*100000).digest()

通过种子文件计算得到InfoHash的代码

const infoHash = crypto.createHash(‘sha1‘).update(bencode.decode(‘file.torrent‘).info).digest()

得到可传播的magnet链接就简单了

const magnet = `magnet:?xt=urn:btih:${infoHash.toString(‘hex‘).toUpperCase()}`

可见DHT网络中用户,资源都是无区别的,所以就有了xor算法之说。NodeID之间可以用异或计算出距离,NodeID和InfoHash之间同样可以计算距离,InfoHash之间也可以计算距离。计算方法很简单,把infoHash或NodeID换为数值,然后按位异或,就得到了距离。这很关键,在下面的Routing table中会运用到。异或算法得到的距离的结果虽然不是物理上的距离关系,但是在数学逻辑上是自洽的。

DHT协议

共4条

  1. ping
  2. find_node
  3. get_peers (在edonkey kad中这叫find_value)
  4. announce_peer
ping

是用检查Node状态,用以更新Routing table

find_node

通常是用来初始化Routing table,因为一开始,你在Routing table是空的,需要通过向公共节点发送find_node来填充之。

get_peers

是当用户要下载种子资源时向其它Node发起的。如果Node有该资源,则返回资源的下载端口以供对方下载,如果没有,则根据异或算法在自己的Routing table中寻找离资源最近的Node返回给对方,对方如此递归发送get_peers,直到找到资源为止。

announce_peer

当用用户下载完种子资源,通过种子开始下载时(这里下载行为通常会回倒为tracker式下载,但也有有种子文件是有Nodes字段的,可以通过纯p2p下载)通知所有曾经get_peers咨询过的node。 announce_peer是爬虫的关键,当下载开始,用户就会通知,于是就得到了一个有效的InfoHash。

Routing table

每个Node都要维护一个Routing table以存放Node信息。 Routing table的容器为桶,称为K桶,桶的容量为8(kad中为20)。桶的数量是可以增加的,当桶的个数超过8时,桶就会平均的分裂。桶中的保存的就是Node信息,包含NodeID、IP和端口。 当Node接受到任意一条协议时,都会试图向Routing table中插入对方的NodeID,插入Rule如下:

  1. 通过异或算法计算距离,应该往哪个桶插入。
  2. 如果这个桶是不满的,则插入成功。
  3. 如果这个桶是满的,并且这个桶中不包含自己,则插入失败。反之则分裂这个桶,并且递归的再尝试插入。

理解Routing table是DHT爬虫的关键,可以参考协议文档

这里是一个我开发的BT搜索,磁力搜索,每天可以抓取infohash100w以上,metainfo20w以上。

爬虫的关键

通过上述基础知识,可以得到以下结论:

  1. 尽量认识更多的Node,这点可以通过find_node来实现。
  2. 尽量让自己插入到对方的Routing table中,只有这样,当对方下载资源时才会优先通知你。
  3. 插入对方的Routing table成功的关键在于自己的NodeID离对方的NodeID足够的近。
  4. 爬虫只无需现实所有的协议,只需要实现find_node(query),get_peers(response),announce_peer(response),ping(response)
  5. Engiy 的开源简化Node.js版DHTSpider可以参考,有疑问可以github上给我留言。
时间: 2024-10-28 11:16:30

利用DHT网络,爬取bt种子。的相关文章

使用Node.js实现简单的网络爬取

由于最近要实现一个爬取H5游戏的代理服务器,隧看到这么一篇不错的文章(http://blog.miguelgrinberg.com/post/easy-web-scraping-with-nodejs),加之最近在学习Node.js,所以就准备翻译出来加深一下印象. 转载请注明来源:(www.cnblogs.com/xdxer )   在这篇文章中,我将会向大家展示如何用JavaScript配合Node.js写一个网络爬取的脚本. 网络抓取工具 在大部分情况下,一个网络抓取的脚本只需要一种方法去

python网络爬虫学习(六)利用Pyspider+Phantomjs爬取淘宝模特图片

本篇博文在编写时参考了http://cuiqingcai.com/2652.html,向作者表示感谢 一.新的问题与工具 平时在淘宝上剁手的时候,总是会看到各种各样的模特.由于自己就读于一所男女比例三比一的工科院校--写代码之余看看美女也是极好的放松方式.但一张一张点右键–另存为又显得太过麻烦而且不切实际,毕竟图片太多了.于是,我开始考虑用万能的python来解决问题. 我们先看看淘女郎页面的URL,https://mm.taobao.com/json/request_top_list.htm?

使用C#实现DHT磁力搜索的BT种子后端管理程序+数据库设计(开源)

直接上程序界面,了解整体工作流程是什么样子的,求服务器进行挂机测试,需要固定IP,空间大概需要10G左右(主要是BT种子占用空间过大),最好有SQLSERVER来做为存储数据库,目前采用的是ACCESS数据库做为测试,怕后期数据过百万,对网站进行查询操作很慢. 如果程序运行的时间够长,基本上网络上的种子都会过来,相当于搜片神器了. 开源地址:https://github.com/h31h31/H31DHTMgr 程序下载:H31DHT下载 也提供ASP网站的访问模式: 正在运行中的状态: 本次主

利用Python来爬取“吃鸡”数据,为什么别人能吃鸡?

首先,神装镇楼背景 最近老板爱上了吃鸡(手游:全军出击),经常拉着我们开黑,只能放弃午休的时间,陪老板在沙漠里奔波. 上周在在微信游戏频道看战绩的时候突发奇想,是不是可以通过这个方式抓取到很多战斗数据,然后分析看看有什么规律.秀一波战绩,开黑情况下我们团队吃鸡率非常高,近100场吃鸡次数51次简单评估了一下,觉得可行,咱就开始. Step 1 分析数据接口 第一步当然是把这些战绩数据采集下来,首先我们需要了解页面背后的故事.去看看页面是如何获取战斗数据的. 使用Charles抓包 抓包实现 在M

利用linux curl爬取网站数据

看到一个看球网站的以下截图红色框数据,想爬取下来,通常爬取网站数据一般都会从java或者python爬取,但本人这两个都不会,只会shell脚本,于是硬着头皮试一下用shell爬取,方法很笨重,但旨在结果嘛,呵呵. 2.首先利用curl工具后者wget工具把整个网站数据爬取下来 curl 网址 >wangzhan.txt 3.查看wangzhan.txt文件,找出规则,看到数据是存放在哪个地方,本人是把txt文件拷到本机上用UE打开方便查看.通过查看文件,我发现数据是存储在"var aut

【个人】爬虫实践,利用xpath方式爬取数据之爬取虾米音乐排行榜

实验网站:虾米音乐排行榜 网站地址:http://www.xiami.com/chart 难度系数:★☆☆☆☆ 依赖库:request.lxml的etree (安装lxml:pip install lxml) IDEA开发工具:PyCharm_2017.3 Python版本:Python3 期望结果:爬取出排行版歌名以及对应歌手 运行效果图: 音乐排行榜: 爬取数据结果图: 像这种简单的爬取就没必要使用Scrapy框架进行处理,是在有点大材小用,不过如果你刚开始学Scrapy的话,拿这些简单的练

利用Python爬虫爬取淘宝商品做数据挖掘分析实战篇,超详细教程

项目内容 本案例选择>> 商品类目:沙发: 数量:共100页  4400个商品: 筛选条件:天猫.销量从高到低.价格500元以上. 项目目的 1. 对商品标题进行文本分析 词云可视化 2. 不同关键词word对应的sales的统计分析 3. 商品的价格分布情况分析 4. 商品的销量分布情况分析 5. 不同价格区间的商品的平均销量分布 6. 商品价格对销量的影响分析 7. 商品价格对销售额的影响分析 8. 不同省份或城市的商品数量分布 9.不同省份的商品平均销量分布 注:本项目仅以以上几项分析为

Python3爬虫(1)_使用Urllib进行网络爬取

网络爬虫 又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自动索引.模拟程序或者蠕虫. (参考百度百科,详细请见https://baike.baidu.com/item/网络爬虫/5162711?fr=aladdin&fromid=22046949&fromtitle=%E7%88%AC%E8%99%AB) 代码和步骤说明:借鉴http://cuijiahua.com. ht

Python练习【利用线程池爬取电影网站信息】

功能实现 爬取猫眼电影TOP100(http://maoyan.com/board/4?offset=90) 1). 爬取内容: 电影名称,主演, 上映时间,图片url地址保存到文件中; 2). 文件名为topMovie.csv; 3). 记录方式: 电影名称:主演:上映时间:图片url地址:评分; 4). 并爬取的信息保存在数据库中; 5). 使用多线程/线城池实现; 编程思路 1.利用多线程分配任务 2.编写单线程的任务实现功能 (1)获取指定url页面信息. (2)从指定信息中匹配所需的信