II7/IIS8屏蔽YisouSpider蜘蛛

来源：http://www.0531s.com/content-46-1927014-1.html

YisouSpider蜘蛛抓取网页能够导致CPU暴涨，影响其他蜘蛛和用户的访问，多次实验后，发现IIS自带的URL重写可以起到作用。
首先选择需要进行屏蔽的网站，然后打开URL重写。
打开入站规则

打开添加规则，选择请求阻止

点击确定，在新弹出的界面，访问阻止依据中选择用户代理表头

在模式(用户代理标头)中输入：YisouSpider,点击确定，这样就可以组织YisouSpider对本站的请求，CPU使用率骤减。

时间： 2024-11-07 06:51:13

II7/IIS8屏蔽YisouSpider蜘蛛的相关文章

浅谈屏蔽搜索引擎爬虫（蜘蛛）抓取/索引/收录网页的几种思路

网站建设好了,当然是希望网页被搜索引擎收录的越多越好,但有时候我们也会碰到网站不需要被搜索引擎收录的情况. 比如,你要启用一个新的域名做镜像网站,主要用于PPC 的推广,这个时候就要想办法屏蔽搜索引擎蜘蛛抓取和索引我们镜像网站的所有网页.因为如果镜像网站也被搜索引擎收录的话,很有可能会影响官网在搜索引擎的权重,这肯定是我们不想看到的结果. 以下列举了屏蔽主流搜索引擎爬虫(蜘蛛)抓取/索引/收录网页的几种思路.注意:是整站屏蔽,而且是尽可能的屏蔽掉所有主流搜索引擎的爬虫(蜘蛛). 1.通过 rob

巨头间的战争，我眼中的的“淘宝为什么屏蔽百度抓取”

来自http://news.paidai.com/12967 作者:芜湖SEO舒扬 1.现状和思考 现在,如果在百度里搜索淘宝网,您所看到的结果应该是这样的,"由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述"这种情况只在使用百度搜索时出现,因为淘宝只针对百度Baiduspider屏蔽,简单点说,除了淘宝网首页,理论上无法在百度中搜索到其他淘宝内页,当然,也包括在淘宝中的各家商家,不过,这种格局目前也有特例,一些商家通过竞价等方式从百度获得了流量入口,也许

js屏蔽浏览器右键菜单,粘贴,复制,剪切,选中（转）

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <meta http-equiv="Content-

蜘蛛禁止访问文件

http://blog.sina.com.cn/s/blog_5b5790f10100vala.html 建好后什么结构与内容都没有确定好之前,我怎么去屏蔽搜索引擎蜘蛛不来访问我的网站,不收录我的网站,这样才不会给我的网站造成损失,其实这样的问题再百度也有很多种回答,可能是由于答案太多太乱的缘故,有很多的人都找不到比较权威的回答,前面我们在文章里讲到一些新手SEO推广建站需注意的问题里面没有讲到关于屏蔽蜘蛛的这一项,现在为大家介绍一下,总体的给大家归纳一下吧!在这里给大家介绍两种方法,如下:一.

Linux环境Nginx安装与调试以及PHP安装

linux版本:64位CentOS 6.4 Nginx版本:nginx1.8.0 php版本:php5.5.28 1.编译安装Nginx 官网:http://wiki.nginx.org/Install 下载:http://nginx.org/en/download.html # wget http://nginx.org/download/nginx-1.8.0.tar.gz # tar -zvxf nginx-1.8.0.tar.gz # cd ./nginx-1.8.0 # ./confi

Nginx禁止ip访问或IP网段访问方法

Nginx禁止ip访问可以防止指定IP访问我们的网站,本例子可以实现是防止单IP访问或IP网段访问了,非常的有用我们一起来看看吧. 常用的linux做法 iptables参考规则  代码如下 复制代码 iptables -I INPUT -p tcp –dport 80 -m –mac-soruce$MAC -j DROP 基于mac地址的iptables -I INPUT -p tcp –dport 80 -s $IP -j DROP 基于ip地址的 方法一, 首先建立下面的配置文件放在ngi

网站突然排名全无,怎样恢复？

问题:网站一直是所在行业的领导者,关键词排名都是在第一页第一的,每天咨询客户有七八个,昨天突然一天一个都没有,于是打开百度看下排名,吓傻了,排名一下全无了.网站已经几个月没有进行任何修改.看到有人说是百度波动,有什么方法快速恢复吗? 分析: 一.因为你免费获得了客户,所以百度眼红了,很可能回不来了.所以多做几个站分散下风险.我之前的站,内页都有排名,流量持续上升,结果百度一次调整,排名再没回来过. 二.可以到百度站长平台反馈一下,我的网站最近排名下降的也可怜,不知道是凑巧还是怎样当排名下降的时候

linux下phpstudy环境的安装

phpStudy Linux版&Win版同步上线 支持Apache/Nginx/Tengine/Lighttpd/IIS7/8/6 phpStudy for Linux 支持Apache/Nginx/Tengine/Lighttpd,支持php5.2/5.3/5.4/5.5切换 已经在centos-6.5,debian-7.4.,ubuntu-13.10测试成功. 下载版:http://lamp.phpstudy.net/phpstudy.bin 完整版:http://lamp.phpstudy

phpStudy

『软件简介』 该 程序包集成最新的Apache+Nginx+LightTPD+PHP+MySQL+phpMyAdmin+Zend Optimizer+Zend Loader,一次性安装,无须配置即可使用,是非常方便.好用的PHP调试环境.该程序绿色小巧简易迷你仅有35M,有专门的控制面板.总之学习PHP只需一个包. 对学习PHP的新手来说,WINDOWS下环境配置是一件很困难的事:对老手来说也是一件烦琐的事.因此无论你是新手还是老手,该程序包都是一个不错的选择. 1.全面适合 Win2000/X