【深入蜘蛛】百度蜘蛛IP段详解

大家进行网站日志分析的时候,常见到很多不同IP段的百度蜘蛛,为了方便大家更好的进行日志分析,下面列举了百度不同IP段常见蜘蛛的一些详情情况,及所谓的降权蜘蛛,沙盒蜘蛛,高权重蜘蛛等等

下面的百度蜘蛛IP造访,准备抓取你东西,抓取网页的百度蜘蛛。

60.172.229.61

61.129.45.72

61.135.162.*

百度竞价蜘蛛

61.135.165.134

117.34.74.66

118.122.188.194

119.63.196.9

125.39.78.185

(百度联盟爬虫),说白了就是百度统计。

61.135.186.*

站长工具模仿的百度蜘蛛。

61.147.98.146

61.188.39.16

113.98.254.245

117.21.220.245

117.28.255.42

114站长工具箱(这个是你的网站不稳定时常来的)

119.147.114.213

121.10.141.*

百度图片爬虫

123.15.**.**

这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了,或被者降权。

123.125.68.*

抓取内页收录的,权重较低,爬过此段的内页文章暂时被收录但不放出来(意思也就是说待定),因不是原创或采集文章。(百度网页爬虫(百度图片爬虫)

123.125.71.*

搜外站长工具蜘蛛。

124.248.34.52

也属于百度蜘蛛IP 主要造成成分,是新上线站较多,还有使用过站长工具,或SEO综合检测造成的,没有多大用。

125.90.88.*

百度蜘蛛

159.226.50.*

180.76.5.*

180.76.5.87

220.181.158.107

伪装百度蜘蛛IP

180.149.130.*

这个ip段出现在新站及站点有不正常现象后。

183.91.40.144

203.208.60.*

这个ip段不间断巡逻各站,就是路过一下。

210.72.225.*

每天这个IP 段只增不减很有可能进沙盒或K站

218.30.118.102

220.181.68.*

123.125.68.*

220.181.68.*

主要是抓取首页占80%,内页占30%,这此爬过的文章或首页,绝对24小时内放出来和隔夜快照的!一般成功抓取返回代码都是 200 0 0返回304 0 0代表网站没更新,蜘蛛来过,如果是 200 0 64别担心这不是K站,可能是网站是动态的,所以返回就是这个代码。

220.181.108.*

代表百度蜘蛛IP来访准备抓取你东西

220.181.7.*

123.125.66.*

这个ip段作为度过新站考察期

121.14.89.*

这个ip段出现在新站或站点有不正常现象后

203.208..60.*

这个ip段不间断巡逻各站

210.72.225.*

这个是百度抓取首页的专用IP如是220.181.108段的ip来的话基本来说网站会天天隔夜快照,绝对错不了的

220.181.108.95

98%抓取首页可能还会抓取其他「不是指内页)属于权重IP段此段爬过的文章或首页基本24小时放出来.

220.181.108.92

抓取内页收录的 权重较低 爬过此段的内页文章不会很快放出来,因不是原创或采集文章

123.125.71.106

属于综合的。主要抓取首页和内页或者其它页面。属于权重IP段, 抓过的文章或首页基本24小时放出来

220.181.108.91

重点抓取更新文章的内页达到90%,8%的抓取首页,2%其他权重ip段,抓过的文章或首页基本24小时放出来

220.181.108.75

专用抓取首页ip 权重段,一般返回代码304 0 0代表未更新

220.181.108.86

抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创

123.125.71.95

123.125.71.97

专用抓取首页ip 权重段,一般返回代码304 0 0代表未更新

220.181.108.89

220.181.108.94

220.181.108.97

220.181.108.80

220.181.108.77

抓取内页收录的, 权重较低,爬过此段的内页文章不会很快放出来,因不是原创

123.181.108.77

专用抓取首页ip 权重段,一般返回代码304 0 0代表未更新

220.181.108.83

本文由 whchina(江城老温)原创发布,转载请注明出处,江城老温 as a thinker。877313758

时间: 2024-10-25 21:56:11

【深入蜘蛛】百度蜘蛛IP段详解的相关文章

《Linux高性能服务器编程》学习总结(二)——IP协议详解

第二章      IP协议详解 IP协议是TCP/IP协议族中的核心协议,也是socket网络编程的基础之一.IP协议的特点是为上层提供无状态.无连接.不可靠的服务. 无状态是指IP通信双方不同步传输数据的状态信息,通俗一些说就是双方发送的IP数据报是相互独立的,没有任何上下文关系.这样的特性缺点在于无法处理重复和乱序的IP数据报,举个例子,假设由于网络原因或者IP选路的原因导致第N个数据报比第N+1个数据报晚到达目的主机或同一个IP数据报经过不同的路径多次到达目的端,此时接收端的IP模块无法检

计算机网络(三),TCP报文段详解

目录 1.TCP(Transmission Control Protocol传输控制协议)作用 2.TCP报文段详解 三.TCP报文段详解 1.TCP(Transmission Control Protocol传输控制协议)作用 (1)面向连接的.可靠地.基于字节流的传输层通信协议 (2)将应用层的数据流分割成报文段并发送给目标节点的TCP层 (3)数据包都有序号,对方收到则发送ACK确认,未收到则重传 (4)使用校验和来检验数据在传输过程中是否有误 2.TCP报文段详解 1.源端口(Sourc

IP协议详解

IP协议详解 前言 本屌今天可算是累坏了,一大早起来本来寻思赶快centOS虚拟机玩玩吧,那天刚装了系统,本来的虚拟机没了,今天想着先把centOS装上,结果给个系统不停的给我扯淡啊,显示虚拟机上不去网,好不容易上去网了,ping不通主机,主机ping不通虚拟机,各种办法都试了,最后我吧VMware8那块网卡禁用了,卧槽!!啥都好了,本屌一直鼓捣到晚上八点,从早晨10点多.服了我自己了. 引入 在前面的学习中,我们简单地IP接力和IP地址后,咱们今天具体的说说IP协议的具体细节和设计哲学. IP

TCP/IP协议详解

OSI通信协议模型(Open System Interconnection) OSI(开放系统互连)通信协议模型是一个多层的通信协议,由国际标准化组织ISO提出.所谓的开放系统是指允许任意两个具有不同基本体系结构的系统进行通信的一套协议集.理论上,OSI允许任意两台计算机实现通信.OSI模型将网络划分为7层模型: OSI模型中每一层只和紧邻的上下两层通信,高层协议偏重于处理用户服务和各种应用请求,底层协议偏重于处理实际的信息传输.分层的目的在于把各种特定的功能分离开来,各个层次相对独立. TCP

IP协议详解(转)

本文转载自博文协议森林05 我尽力 (IP协议详解).这篇博文写的很有趣味,特转载! IPv4与IPv6头部的对比 我们已经在IP接力中介绍过,一个IP包分为头部(header)和数据(payload/data)两部分.头部是为了实现IP通信必须的附加信息,数据是IP通信所要传送的信息. 黄色区域 (同名区域) 我们看到,三个黄色区域跨越了IPv4和IPv6.Version(4位)用来表明IP协议版本,是IPv4还是IPv6(IPv4, Version=0100; IPv6, Version=0

TCP/IP 协议详解内容总结

TCP/IP 协议详解内容总结 TCP/IP协议 TCP/IP不是一个协议,而是一个协议族的统称.里面包括IP协议.IMCP协议.TCP协议. http://blog.jobbole.com/91841/

计算机网络(六),UDP报文段详解

目录 1.UDP作用 2.UDP报文段详解 六.UDP报文段详解 1.UDP作用 (1)面向非连接 (2)不维护连接状态,支持同时向多个客户端传送相同的消息 (3)报文段报头只有8个字节,格外开销较小 (4)吞吐量只受限于数据生成速率.传输速率以及机器性能 (5)尽最大努力交付,不保证可靠交付,不需要维持复杂的链接状态表 (6)面向报文,不对应用程序提交的报文信息进行拆分或者合并 2.UDP报文段详 (1)源端口-2字节 (2)目标端口-2字节 (3)长度-2字节 (4)校验位-2字节 (5)数

TCP/IP头部详解

在网上找了很多有关tcp/ip头部解析的资料,都是类似于下面的结构 抽象出图文是这种结构,但是在底层中数据到底是怎么传输的呢?没有答案,在深入学习之后,总结出数据传输的方式 IP数据包头部格式: 上面是在数据到达传输层对数据进行IP头部封装的数据 TCP协议 TCP协议是传输协议,为应用层提供数据服务,和UDP不同,TCP提供可靠的面向连接服务,关于TCP头部数据格式的说明 跟IP头部差不多,基本长度为20个字节,基本介绍到此为止,详解在网上多如牛毛,下面用两台pc建立连接为例说明: 主机1:I

iOS中 HTTP/Socket/TCP/IP通信协议详解

// OSI(开放式系统互联), 由ISO(国际化标准组织)制定 // 1. 应用层 // 2. 表示层 // 3. 会话层 // 4. 传输层 // 5. 网络层 // 6. 数据链接层 // 7. 物理层 // TCP/IP, 由美国国防部制定 // 1. 应用层, HTTP, FTP, SMTP, DNS // 2. 传输层, TCP, UDP // 3. 网络层, IP // 4. 链路层, ARP, RARP // HTTP(短连接) // 1. 建立链接, 三次握手 // 2. 断开