LAMP - Apache禁止指定user_agent

网站有时候会有一些非法的访问或者无意义的访问,比如垃圾的蜘蛛(360 spider, sogou spider等),当网站访问量很大时,蜘蛛的访问会增加服务器的负担,损失性能。对于没有必要的搜索引擎,可以禁掉;而对于百度,谷歌等可以保留



禁止搜索引擎的方法:通过rewrite模块实现,比如禁止sogou spider对网站进行访问,添加以下红色字段

<IfModule mod_rewrite.c>

RewriteEngine on

RewriteCond %{HTTP_HOST} ^www.aaa.com$ [OR]

RewriteCond %{HTTP_HOST} ^www.bbb.com$ [OR]

RewriteCond %{HTTP_HOST} ^www.ccc.com$

RewriteRule ^/(.*)$ http://www.test.com/$1 [R=301,L]

RewriteCond %{HTTP_USER_AGENT} ^.*sogou.* [NC]

RewriteRule .* - [F]

</IfModule>

说明: [NC]表示不区分大小写;[F]表示forbidden禁止访问

尝试用sogou浏览器去访问网站任意一个页面都会显示403 Forbidden,这样就不用担心垃圾蜘蛛捣乱了

时间: 2024-10-30 16:50:25

LAMP - Apache禁止指定user_agent的相关文章

apache限制某个目录禁止解析php、apache禁止指定user_agent、php相关配置

一:apache限制某个目录禁止解析php 某个目录下禁止解析 php,这个很有用,我们做网站安全的时候,这个用的很多,比如某些目录可以上传文件,为了避免上传的文件有×××,所以我们禁止这个目录下面的访问解析php. <Directory /data/www/data> php_admin_flag engine off <filesmatch "(.*)php"> Order deny,allow Deny from all </filesmatch&g

apache‘禁止指定user_agent’ 和 ‘禁止用户通过浏览器访问某个目录’

禁止指定user_agent 本节介绍如何通过rewrite实现限制指定 user_agent 的请求: 即禁掉不想让那些引擎访问的请求 编辑虚拟主机配置文件 [[email protected] ~]# vim /usr/local/apache2/conf/extra/httpd-vhosts.conf (找到"域名301跳转的配置"即"rewrite的mod配置"内写入) RewriteCond %{HTTP_USER_AGENT} ^.*curl.* [NC

Apache禁止指定user_agent

user_agent我们把它叫做浏览器标识,目前主流的浏览器有IE.chrome.Firefox.360.iphone上的Safari.Android手机上的.百度搜索引擎.Google搜索引擎等很多,每一种浏览器都有对应的user_agent. 配置如下: <IfModule mod_rewrite.c> RewriteEngine on RewriteCond %{HTTP_USER_AGENT} ^.*Firefox/4.0.* [NC,OR] RewriteCond %{HTTP_US

Apache禁止解析php 禁止指定user_agent Apache通过rewrite限制某个目录

<Directory /data/www/data> php_admin_flag engine off <filesmatch "(.*)php"> Order deny,allow Deny from all </filesmatch> </Directory> 禁止指定user_agent <IfModule mod_rewrite.c> RewriteEngine on RewriteCond %{HTTP_USER_

LAMP--Apache 禁止指定 user_agent

user_agent 可以当作浏览器标识,目前主流的浏览器有 IE.chrome.Firefox.360.iPhone上的 Safari.Android 手机上的百度搜索引擎.google搜索引擎等很多,每一种浏览器都有对应的 user_agent,下面列出几个常见的 user_agent. Mozilla/4.0(compatible; MSIE 6.0; Windows NT 5.1; Trident/4.0; .NET4.0C; .NET4.0E; SE 2.x) Mozilla/5.0(

apache 限制指定user_agent

有些user_agent 不是我们想要的,可以通过rewrite功能针对 %{HTTP_USER_AGENT} 来rewirete到404页,从而达到限制某些user_agent的请求. 配置如下 <IfModule mod_rewrite.c> RewriteEngine on RewriteCond %{HTTP_USER_AGENT}  ^.*Firefox/4.0* [NC,OR] RewriteCond %{HTTP_USER_AGENT}  ^.*Tomato Bot/1.0* [

LNMP - nginx禁止指定user_agent

user_agent用来识别访问者的操作系统(包括版本号)浏览器(包括版本号)和用户个人偏好的代码比如我们的服务器网站,会被一些搜索引擎的爬虫程序访问,这对服务器压力造成了一定的影响.我们就可以根据爬虫的user_agent标示,来禁止掉它访问网站. 1.修改配置文件 [[email protected] ~]# vim /usr/local/nginx/conf/vhosts/test.conf server{    listen 80;    server_name www.test.com

2.4-nginx禁止指定user_agent

user_agent用来识别访问者的操作系统(包括版本号)浏览器(包括版本号)和用户个人偏好的代码 比如我们的服务器网站,会被一些搜索引擎的爬虫程序访问,这对服务器压力造成了一定的影响.我们就可以根据爬虫的user_agent标示,来禁止掉它访问网站. 可以用location语句,也可以不用.在全局插入以下代码. #全局配置黑名单,禁止访问网站 #   deny 127.0.0.1; #   deny 192.168.1.0/24; if ($http_user_agent ~* 'curl|b

Apache禁止指定USRE_AGENT

有时候去分析访问日志的时候会有很多非法的访问,或者说你不想让它访问的一些请求,比如说一些比较垃圾的蜘蛛搜索引擎,其实我们对于这些搜索引擎是可以禁掉的,因为你的网站访问量的请求如果很大的话,那么会有一半的访问量是这些搜索引擎他们的爬虫来访问的,它们的访问跟人为的访问是一样的,同样会造成咱们服务器的负担 看一下访问日志 [[email protected] ~]# tail /usr/local/apache2/logs/test.com-access_ test.com-access_201512