网站有时候会有一些非法的访问或者无意义的访问,比如垃圾的蜘蛛(360 spider, sogou spider等),当网站访问量很大时,蜘蛛的访问会增加服务器的负担,损失性能。对于没有必要的搜索引擎,可以禁掉;而对于百度,谷歌等可以保留
禁止搜索引擎的方法:通过rewrite模块实现,比如禁止sogou spider对网站进行访问,添加以下红色字段
<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_HOST} ^www.aaa.com$ [OR]
RewriteCond %{HTTP_HOST} ^www.bbb.com$ [OR]
RewriteCond %{HTTP_HOST} ^www.ccc.com$
RewriteRule ^/(.*)$ http://www.test.com/$1 [R=301,L]
RewriteCond %{HTTP_USER_AGENT} ^.*sogou.* [NC]
RewriteRule .* - [F]
</IfModule>
说明: [NC]表示不区分大小写;[F]表示forbidden禁止访问
尝试用sogou浏览器去访问网站任意一个页面都会显示403 Forbidden,这样就不用担心垃圾蜘蛛捣乱了
时间: 2024-10-30 16:50:25