python学习之----深网和暗网

深网是网络的一部分,与浅网(surface Web)对立。浅网是互联网上搜索引擎可以抓

到的那部分网络。据不完全统计,互联网中其实约90% 的网络都是深网。因为谷歌不

能做像表单提交这类事情,也找不到那些没有直接链接到顶层域名上的网页,或者因

为有robots.txt 禁止而不能查看网站,所以浅网的数量相对深网还是比较少的。

暗网,也被称为Darknet 或dark Internet,完全是另一种“怪兽”。它们也建立在已有

的网络基础上,但是使用Tor 客户端,带有运行在HTTP 之上的新协议,提供了一个

信息交换的安全隧道。这类暗网页面也是可以采集的,就像你采集其他网站一样,不

过这些内容超出了本书的范围。

和暗网不同,深网是相对容易采集的。

时间: 2024-10-05 10:29:34

python学习之----深网和暗网的相关文章

深网与暗网初学者指南

揭秘深网和暗网:你所不知道的互联网 事物总有正反面,网络也一样,其中的深网和暗网(互联网中无法被搜索引擎抓取到的那部分网络)已经存在多年了,不过在IoE(Internet of Everything万物互联)时代,它可能会扮演更为重要的角色. 我们时常会听到有人提起一个不为人知的网络,也就是所谓的暗网. 如果不是发生了一些大事(比如最近的丝绸之路2.0事件),可能大多数人一辈子都不会听到暗网这个名词.不过现在这个情况正在慢慢改变,一旦IoE的进化得以实现,再加上各类渗透,暗网的融合趋势便不可阻挡

python学习之爬虫(一) ——————爬取网易云歌词

接触python也有一段时间了,一提到python,可能大部分pythoner都会想到爬虫,没错,今天我们的话题就是爬虫!作为一个小学生,关于爬虫其实本人也只是略懂,怀着"Done is better than perfect"的态度硬着头皮开始了这篇文章的撰写!好了,废话不多说! 先说一下今天我们的目的,作为一个音痴但不影响我对于音乐的执着,所以今天我们爬取的是网易云音乐,我们将会通过代码爬取歌词并写入到本地. 作为新手,我很本能就打开页面复制了url,然后用Beautifulsou

2020十大暗网搜索引擎

什么是深网或暗网? Deep Web简单地指:  Internet或Internet上可用的内容,通常不被传统搜索引擎索引.有时也称为Dark Web.但是Dark Web是一本完全不同的章节.传统搜索引擎可能不喜欢索引此类内容的原因可能有很多. 深度网络搜索的另一件事是,它还意味着匿名浏览网络. 什么是深度网络搜索? 当我们在任何搜索引擎上搜索某项内容时,它只会显示由约10个链接组成的一些结果,并且我们发现至少有一个链接可以满足大多数情况下搜索到的术语.这就是所谓的简单搜索,或者我们可能会在网

安全杂谈|《暗网》:互联网领域的水下冰山

电影:<解除好友2:暗网>上映时间:2018国家:美国类型:恐怖导演:斯蒂芬·思科主演:贝蒂·加布里埃尔/科林·伍德尔/瑞贝卡·瑞滕豪斯/安德鲁斯·李斯如果某天你在街上捡到一个Macbook,你会怎样处理它呢?在电影<解除好友2:暗网>中,一位男青年捡到了一台Macbook,它则将其拿回家后猜对了密码成功进入了系统,然而他在把玩的过程中却发现电脑非常卡顿,于是,这位年轻人通过视频远程请教懂电脑的朋友,并在朋友的帮助下找到了电脑中被隐藏的文件夹.在这个文件夹中,有一个叫"T

我去暗网里转了转(慎入)

(声明:仅技术交流,切勿做违法的事情) 首先介绍下什么是暗网: (深网,不可见网,隐藏网)是指那些无法通过搜索引擎搜索的深层网络.也就是说我们通过百度,谷歌,搜狗等是无法访问到它的. 先来看下这张图吧 我们所访问的互联网,只是整个互联网的4%  ,其余96%就在暗网.可以说我们说处的网络,只是整个互联网络很小的一部分,而暗网上面的内容更多.但是这些信息都被保护.加密起来,不用一些手段,我们是看不到的. 这时我们需要通过一些工具:tor浏览器 首先我们下载tor浏览器 下载完成后,打开它,这里不做

python3连接tor爬取暗网的一种实现方法

requests+tor+privoxy 踩了一些坑,也不一定是最好的实现方式,交流分享一下 配置 使用ubuntu1904 tor 多级代理,连接DeepWeb 安装 更新系统,安装tor及相关依赖 apt-get update apt-get install tor git bison libexif-dev 配置 vim /etc/tor/torrc # 文档最后添加内容如下 ControlPort 9051 ControlListenAddress 127.0.0.1 CookieAut

如何进入暗网(技术交流)

介绍一下什么是暗网并且如何登陆暗网. 首先先知道什么是明网:明网指的是合法大众化都可以访问的网站.暗网呢就是指的是一些灰色的非法网站,这些非法的网站将他们的资源联系到一起形成了一个庞大的网络,这就是暗网.这些网站的进入方式也和我们传统的访问不太一样,并不是输入个域名和地址就可以访问的.这样不就很容易的被安全部门追查到了吗?这么愚蠢的行为,我相信暗网的人绝对不会这么傻的....... 先在我就演示一下如何带你去访问暗网....(声明:本文只针对爱好者纯技术学习) 首先你要可以FQ(姿势有很多,花点

对暗网的初步了解与认识

今天在网易上看了一个关于暗网的视频,思想上很有感悟! 1.美国政府对其公民的网络监控使其感觉在网络上没有了自由,然后首先是军方为了报复其隐私性,参与了Tor的早期研发,在Tor出来后,一些国家机密文件传输等会在Tor上传播,但事情有两面性,慢慢地在Tor上会有毒品交易,色情.暗杀等交易(即暗网) 我觉得人们为了信息安全去真的隐藏了自己的身份后,各种犯罪活动也油然而生,比如比特币的交易; 2.出现了暗网国家要对其进行抓捕和控制就太难了,于是就有人提出来 按照情况进行实名制,比如金融交易就需要进行实

“暗网”:另一个平行的互联网世界

数月之前,好莱坞爆发了一次“艳照门”危机,波及范围之广,令人咋舌. 在欣赏香艳照片之余,有人注意到这次信息泄露事件虽然源自名流们隐私保护意识的淡漠,但是真正将艳照流出规模扩大到人尽皆知的导火索,就在于有黑客在“暗网”上明码标价的兜售这些艳照,这是构成购买者二次传播的关键前提. 所谓的“暗网”,其英文原名叫作“Deep Web”,又称深层网络,它有泛指和特指两种层面的定义. 先 说泛指,广泛意义上的“暗网”,指的是那些无法被搜索引擎收录内容的站点,也就是说,一切有着非公开访问机制的网站——比如Fa