百度蜘蛛ip段代表的不同含义

有时候我们在分析百度蜘蛛的时候,会发现很多的ip,这些个ip地址,根据后面的参数可以发现都是百度的。刚学习SEO不久的同学肯定要问:这些ip地址到底代表什么含义,是不是不同的ip地址所代表的含义不一样呢?对权重和抓取是否有影响?哪些是无效的蜘蛛,哪些是站长工具的蜘蛛,那些又是百度自己真正的蜘蛛?
首先,怎么判断这个蜘蛛是不是百度蜘蛛?

在这里,我教大家一个方法。

电脑上,点开始——运行——cmd——nslookup 【ip】看name值。

如判断ip地址123.125.71.95,如下图。

判断百度蜘蛛

很明显看出是百度的蜘蛛。

如判断ip地址61.147.98.146,如下图

判断百度蜘蛛ip

显示不是百度蜘蛛。

这个只要看nslookup出来的name值。没有的话就不是百度蜘蛛,有百度字样的,就是百度蜘蛛。

那么,不同的百度蜘蛛,它的功能和作用是什么呢?以下是搜集于互联网的,大家可以作为一个参考。

百度蜘蛛     功能说明
60.172.229.61     蜘蛛来访,准备抓取网页内容
61.129.45.72     蜘蛛来访,准备抓取网页内容
61.135.162.*     蜘蛛来访,准备抓取网页内容
61.135.165.134     百度竞价蜘蛛
117.34.74.66     百度竞价蜘蛛
118.122.188.194     百度竞价蜘蛛
119.63.196.9     百度竞价蜘蛛
125.39.78.185     百度竞价蜘蛛
61.135.186.*     百度联盟蜘蛛、百度统计蜘蛛
61.147.98.146     站长工具模拟百度蜘蛛
61.188.39.16     站长工具模拟百度蜘蛛
113.98.254.245     站长工具模拟百度蜘蛛
117.21.220.245     站长工具模拟百度蜘蛛
117.28.255.42     站长工具模拟百度蜘蛛
124.248.34.52     站长工具模拟百度蜘蛛
125.90.88.*     站长工具模拟百度蜘蛛
119.147.114.213     站长工具模拟百度蜘蛛
121.10.141.*     站长工具模拟百度蜘蛛
123.15.**.**     百度图片蜘蛛
123.125.71.*     抓取网站内页收录,质量不高,暂时不会放出来
159.226.50.*     考察蜘蛛(很大可能是降权蜘蛛)
180.76.5.*     考察蜘蛛(很大可能是降权蜘蛛)
180.76.5.87     考察蜘蛛(很大可能是降权蜘蛛)
220.181.158.107     考察蜘蛛(很大可能是降权蜘蛛)
183.91.40.144     新站不正常情况下的蜘蛛
203.208.60.*     新站不正常情况下的蜘蛛
210.72.225.*     打酱油的百度蜘蛛
123.125.68.*     如果发现下面这几个ip段每天只增不减的话,那就很危险了,
很有可能会进入沙盒或者有被K站的现象。
218.30.118.102     如果发现下面这几个ip段每天只增不减的话,那就很危险了,
很有可能会进入沙盒或者有被K站的现象。
220.181.68.*     如果发现下面这几个ip段每天只增不减的话,那就很危险了,
很有可能会进入沙盒或者有被K站的现象。
123.125.66.*     代表百度蜘蛛IP来过了,准备抓取你网站上的东西!
220.181.7.*
121.14.89.*     百度蜘蛛作为度过新站考察期的一个ip段
220.181.108.95     此ip段爬过的文章或首页正常情况下基本在24小时都会放出来
220.181.108.92     此ip段爬过的文章或首页正常情况下基本在25小时都会放出来
220.181.108.91     此ip段爬过的文章或首页正常情况下基本在26小时都会放出来
220.181.108.75     此ip段爬过的文章或首页正常情况下基本在27小时都会放出来
123.125.71.95     抓取内页收录的,权重相对比较低,爬过此段的内页文章不会很快被放出来,
因它怀疑不是原创文章或者怀疑是采集来的文章。
123.125.71.97     抓取内页收录的,权重相对比较低,爬过此段的内页文章不会很快被放出来,
因它怀疑不是原创文章或者怀疑是采集来的文章。
123.181.108.77     抓取内页收录的,权重相对比较低,爬过此段的内页文章不会很快被放出来,
因它怀疑不是原创文章或者怀疑是采集来的文章。
123.125.71.106     抓取内页收录的,权重相对比较低,爬过此段的内页文章不会很快被放出来,
因它怀疑不是原创文章或者怀疑是采集来的文章。
220.181.108.89     专用抓取网站首页的,也属于权重段,
一般返回代码304 0 0就代表网站未更新
220.181.108.94     专用抓取网站首页的,也属于权重段,
一般返回代码304 0 1就代表网站未更新
220.181.108.97     专用抓取网站首页的,也属于权重段,
一般返回代码304 0 2就代表网站未更新
220.181.108.80     专用抓取网站首页的,也属于权重段,
一般返回代码304 0 3就代表网站未更新
220.181.108.77     专用抓取网站首页的,也属于权重段,
一般返回代码304 0 4就代表网站未更新
220.181.108.83     专用抓取网站首页的,也属于权重段,
一般返回代码304 0 5就代表网站未更新
220.181.108.86     专用抓取网站首页的,也属于权重段,
一般返回代码304 0 6就代表网站未更新

原文地址:https://www.cnblogs.com/phpyangbo/p/9142427.html

时间: 2024-08-01 00:34:09

百度蜘蛛ip段代表的不同含义的相关文章

详解百度蜘蛛ip段代表的不同含义

详解百度蜘蛛ip段代表的不同含义 有时候我们在分析百度蜘蛛的时候,会发现很多的ip,这些个ip地址,根据后面的参数可以发现都是百度的.刚学习SEO不久的同学肯定要问:这些ip地址到底代表什么含义,是不是不同的ip地址所代表的含义不一样呢?对权重和抓取是否有影响?哪些是无效的蜘蛛,哪些是站长工具的蜘蛛,那些又是百度自己真正的蜘蛛? 首先,怎么判断这个蜘蛛是不是百度蜘蛛? 在这里,我教大家一个方法. 电脑上,点开始——运行——cmd——nslookup [ip]看name值. 如判断ip地址123.

【深入蜘蛛】百度蜘蛛IP段详解

大家进行网站日志分析的时候,常见到很多不同IP段的百度蜘蛛,为了方便大家更好的进行日志分析,下面列举了百度不同IP段常见蜘蛛的一些详情情况,及所谓的降权蜘蛛,沙盒蜘蛛,高权重蜘蛛等等 下面的百度蜘蛛IP造访,准备抓取你东西,抓取网页的百度蜘蛛. 60.172.229.61 61.129.45.72 61.135.162.* 百度竞价蜘蛛 61.135.165.134 117.34.74.66 118.122.188.194 119.63.196.9 125.39.78.185 (百度联盟爬虫),

详细解析百度蜘蛛ip段的含义

www.baidu.com/p/%E9%BB%84%E5%8D%97%E6%89%BE%E6%9C%8D%E5%8A%A1%E5%A6%B9%E7%BA%B8%2Fdetail www.baidu.com/p/%E5%92%8C%E7%94%B0%E6%89%BE%E6%9C%8D%E5%8A%A1%E5%A6%B9%E7%BA%B8%2Fdetail www.baidu.com/p/%E5%90%B4%E5%BF%A0%E6%89%BE%E6%9C%8D%E5%8A%A1%E5%A6%B9%E

百度蜘蛛(BaiduSpider)IP段详细情况介绍

123.125.68.*这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了,或被者降权. 220.181.68.*每天这个IP 段只增不减很有可能进沙盒或K站. 220.181.7.*.123.125.66.* 代表百度蜘蛛IP造访,准备抓取你东西. 121.14.89.*这个ip段作为度过新站考察期. 203.208.60.*这个ip段出现在新站及站点有不正常现象后. 210.72.225.*这个ip段不间断巡逻各站. 125.90.88.* 广东茂名市电信也属于百度蜘蛛IP 主要造成成分,

多线程批量探测目标IP段的服务器类型(内网也可用)

一 原理解释 这里所说的服务器类型是指像Apache,tomcat,nginx,IIS这种.其中原理用到了HTTP Header的Responses,这里面有项叫"Server"的参数就包涵我们所需要的信息.下面是Responses的部分截图: (PS:更多相关可自行百度"HTTP Header") 因此,我们想要做一个多线程批量探测的软件,思路有两种:(1)根据别人提供的接口然后我们去调用获取(比如:http://api.builtwith.com 这个我以后可能

各大CDN的节点IP段

各大CDN的节点IP段,加速乐CDNip段,腾讯云CDNip段,百度云CDNip段,牛盾CDNip段 360CDN的IP段 ,CloudflareCDNip段 腾讯云CDN的IP段 58.250.143.0/24 58.251.121.0/24 59.36.120.0/24 61.151.163.0/24 101.227.163.0/24 111.161.109.0/24 116.128.128.0/24 123.151.76.0/24 125.39.46.0/24 140.207.120.0/

python之IP地址或IP段处理模块-ipaddr

python处理IP和IP段的模块基本有两个:IPy与ipaddr IPy基本处理8位.16位.24位掩码的网段,其他的网段处理起来就会出现问题. ipaddr是google出的一个模块,很好的可以处理模块IPy不能解决这个问题,所以建议使用模块ipaddr! 模块地址:http://pythonhosted.org/ipaddr/ 使用介绍: Class总共分为:BaseIP.IPv4.IPv6 ipaddr.IPv4Network()    ipv4网段对象建立 ipaddr.IPv6Net

JavaScript遍历IP段内所有IP

思路:将两个IP转换为数字进行比较,小的那个慢慢加一,直到变成大的那个IP所转换的数字,将这其中的数字再转换为IP地址即为IP段内所有的IP. 1 //IP转数字 2 function ip2int(ip) 3 { 4 var num = 0; 5 ip = ip.split("."); 6 num = Number(ip[0]) * 256 * 256 * 256 + Number(ip[1]) * 256 * 256 + Number(ip[2]) * 256 + Number(i

PHP中多IP段权限控制方案

在某些项目中我们可能会用到根据IP段进行权限校验,比如不在我们配置的IP段内的用户访问某些页面或功能模块时,将提示其权限不够并禁止访问该页面的内容.鉴于项目中需求各异,下面只说下大致思路以及我个人的实现方式: 1. 在一个功能模块设计之初,我们应该让它尽可能易于配置,易于使用,易于应用到更多场景中,这里我们采用配置和校验函数分离的方式,将权限校验的代码都写在一个依赖配置数组能独立运行的函数中. 2. 我的思路是多IP段校验过程中,如果被校验的IP不在配置项的所有IP段中,则返回false, 禁止