apache 禁止爬虫

Apache 
①、通过修改 .htaccess文件 
修改网站目录下的.htaccess，添加如下代码即可

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} (^$|FeedDemon|JikeSpider|Indy ) [NC] 
RewriteRule ^(.*)$ - [F]

②、通过修改httpd.conf配置文件 
找到如下类似位置，根据以下代码 新增 / 修改，然后重启Apache即可： 
DocumentRoot /home/wwwroot/xxx 
<Directory "/home/wwwroot/xxx"> 
         SetEnvIfNoCase User-Agent ".*(FeedDemon|JikeSpider|Indy )" BADBOT 
         Order allow,deny 
         Allow from all 
         deny from env=BADBOT 
</Directory>

时间： 2024-12-28 14:57:41

apache 禁止爬虫的相关文章

Apache禁止ip访问

网站突然让禁止ip访问,于是就通过配置Apache达到了想要的效果. 我们网站用的是Apache+tomcat集群,所以需要配置虚拟主机,虚拟主机我在这里就不说了,不明白的上网搜搜吧,这里只说禁止ip访问的配置,打开虚拟主机的配置文件httpd-vhosts.conf,我的路径是"d:/Apache2.2/conf/extra/httpd-vhosts.conf",在NameVirtualHost *:80后面添加: <VirtualHost *:80> ServerNam

apache禁止使用IP访问的实现方法

apache禁止访问目录列表 apache禁止访问目录列表对于开发人员来说还是蛮实用的,可以迅速查找根目录下的所有项目,但如果一个挂在互联网上的服务器为了提高安全性就必须禁止访问目录列表. 找到Apache 的 httpd.conf 配置文件将: XML/HTML代码 Options Indexes FollowSymLinks 改为:Options FollowSymLinks 也就是把 Indexes 去掉. 额外信息:在apache中设置虚拟主机 在IIS中我们可以方便的通过不同的IP或者

apache禁止用ip直接访问

apache禁止用ip直接访问,可以防止恶意域名指向你的网站 Apache的虚拟主机配置 <VirtualHost *:80> <Location /> Order deny,allow Deny from all        ##屏蔽所有访问 </Location> </VirtualHost> <VirtualHost *:80> DocumentRoot htdocs ServerName www.12.com </VirtualH

禁止apache显示目录索引 apache禁止列目录

禁止apache显示目录索引 apache禁止列目录 禁止Apache显示目录索引的常见的3种方法. 要实现禁止Apache显示目录索引,只需将Option中的Indexes去掉即可. 禁止Apache显示目录索引,禁止Apache显示目录结构列表,禁止Apache浏览目录,这是网上提问比较多的,其实都是一个意思. 下面说下禁止Apache显示目录索引的常见的3种方法.要实现禁止Apache显示目录索引,只需将 Option 中的 Indexes 去掉即可.1)修改目录配置:<Directory

禁止apache显示目录索引的常见方法(apache禁止列目录)

禁止Apache显示目录索引,禁止Apache显示目录结构列表,禁止Apache浏览目录,这是网上提问比较多的,其实都是一个意思.下面说下禁止禁止Apache显示目录索引的常见的3种方法. 要实现禁止Apache显示目录索引,只需将 Option 中的 Indexes 去掉即可. 1)修改目录配置: 只需要将上面代码中的 Indexes 去掉,就可以禁止 Apache 显示该目录结构.用户就不会看到该目录下的文件和子目录列表了.Indexes 的作用就是当该目录下没有 index.html 文件

LAMP（apache禁止解析php，限制user_agent，php配置，open_bashdir

一.apache禁止解析php. 实例:假如我们的一个目录是允许上传图片的,可能有些别有用心的人通过某些手段上传php文件上来.也就意味着被执行的文件,可能是恶意文件 修改: [[email protected] admin]# vim /usr/local/apache2.4/conf/extra/httpd-vhosts.conf <Directory /data/wwwroot/111.com/upload> php_admin_flag engine off              

apache限制某个目录禁止解析php、apache禁止指定user_agent、php相关配置

一:apache限制某个目录禁止解析php 某个目录下禁止解析 php,这个很有用,我们做网站安全的时候,这个用的很多,比如某些目录可以上传文件,为了避免上传的文件有×××,所以我们禁止这个目录下面的访问解析php. <Directory /data/www/data> php_admin_flag engine off <filesmatch "(.*)php"> Order deny,allow Deny from all </filesmatch&g

apache禁止访问文件或目录执行权限、禁止运行脚本PHP文件的设置方法

<Directory "要去掉PHP执行权限的目录路径,例如:D:/piaoyun.cc/upload"> ErrorDocument 404 /404/404.html ErrorDocument 403 /404/403.html <FilesMatch "\.(?i:php|php3|php4)$"> // ?是尽可能多的匹配.php的字符串,i是不区分大小写,然后冒号后面跟上正则表达式,也可以写成:<FilesMatch &qu

Apache禁止指定USRE_AGENT

有时候去分析访问日志的时候会有很多非法的访问,或者说你不想让它访问的一些请求,比如说一些比较垃圾的蜘蛛搜索引擎,其实我们对于这些搜索引擎是可以禁掉的,因为你的网站访问量的请求如果很大的话,那么会有一半的访问量是这些搜索引擎他们的爬虫来访问的,它们的访问跟人为的访问是一样的,同样会造成咱们服务器的负担 看一下访问日志 [[email protected] ~]# tail /usr/local/apache2/logs/test.com-access_ test.com-access_201512