apache使用.htaccess文件实现屏蔽wget下载网站内容

经发现，虽然wget遵循 robots.txt 规则，但是那个还是可以绕过去，现在56云小编把我自己使用的屏蔽方法分享给大家：

  1. 屏蔽下载任何文件

.htaccess

SetEnvIfNoCase User-Agent "^wget" bad_bot

<Limit GET POST>

Order Allow,Deny

Allow from all

Deny from env=bad_bot

</Limit>

  1. 屏蔽下载部分文件

.htaccess

SetEnvIfNoCase User-Agent "^Wget" bad_bot

SetEnvIfNoCase User-Agent "^Wget/1.5.3" bad_bot

SetEnvIfNoCase User-Agent "^Wget/1.6" bad_bot

<Files ~ ".(html|pdf|mp3|zip|rar|exe|gif|jpe?g|png|php|jsp) $">

Order Allow,Deny

Allow from all

Deny from env=bad_bot

</files>

原文地址：https://blog.51cto.com/14540004/2455578

时间： 2024-12-13 06:02:09

apache使用.htaccess文件实现屏蔽wget下载网站内容的相关文章

Apache中.htaccess文件的作用和配置

00x01 What's .htaccess      htaccess文件是Apache服务器中的一个配置文件,它负责相关目录下的网页配置.通过htaccess文件,可以帮我们实现:网页301重定向.自定义404错误页面.改变文件扩展名.允许/阻止特定的用户或者目录的访问.禁止目录列表.配置默认文档等功能. 一般来说,htaccess文件需要放在网站的根目录下才能控制整个站点,并且在Linux系统中,需要把其权限设置为644以提高安全性.国内很多主机提供商都通过一定技术手段禁用了该文件,但是国

Apache使用.htaccess防盗链禁止用户下载

今天遇到一个客户,做视频站的,用的是Html5播放器,最开始想隐藏真实地址,尝试了很多办法都没办法隐藏,最后尝试CK切段处理,但是用户体验效果不好,切段多了会出现卡顿情况. 最后没办法和客户商议后决定采用防盗链,禁止非绑定的域名访问下载视频,同样看了很多教程,完全是一脸懵逼不知道怎么操作. 只能不断尝试,最后还是给解决了,方法如下 SetEnvIfNoCase Referer "^http://youer.com" local_ref=1 SetEnvIfNoCase Referer

Apache 中 .htaccess 文件设置技巧16则

.htaccess 文件 (Hypertext Access file) 是Apache Web服务器的一个非常强大的配置文件,对于这个文件,Apache有一堆参数可以让你配置出几乎随心所欲的功能..htaccess 配置文件坚持了Unix的一个文化——使用一个ASCII 的纯文本文件来配置你的网站的访问策略.这篇文章包括了16个非常有用的小技巧.另外,因为.htaccess 是一个相当强大的配置文件,所以,一个轻微的语法错误会造成你整个网站的故障,所以,在你修改或是替换原有的文件时,一定要备份

apache的.htaccess文件作用和相关配置

首先.htaccess什么? .htaccess是一个纯文本文件,它里面存放着Apache服务器配置相关的指令. 当我们使用apache部署一个网站代码准备部署到网上的时候,我们手中的apache的httpd.conf大家肯定都知道.这是apache的配置文件,然而我们大多数的网站都是基于云服务器来部署的,还有就是团队协作开发的时候,我们很难直接修改公共的httpd.conf,这时 .htaccess就是httpd.conf的衍生品,它起着和httpd.conf相同的作用. .htaccess的

取消apache对.htaccess文件的限制

问题 当访问一个站点的时候,报告“500 Internal Server Error”,查看/var/log/httpd/error_log,报告“/www/users/test.com/.htaccess: Options not allowed here”,或者报告“ErrorDocument not allowed here”等信息. 解决方案 这是由于客户在自己的网站的目录内放置了.htaccess文件.使用.htaccess文件,可以对网站目录的一些特性做子定义,如调整默认首页顺序.设

mac下为Apache 创建 .htaccess文件

在设置固定链接时会提示如下的问题: 若您的 .htaccess 文件可写,我们可以自动修改它.但似乎它不可写,因此我们在下方列出了您 .htaccess 文件中应该加入的URL 重写规则.点击下方的文本区域,按 CTRL+ a 来全选. 需要将下面的代码写入 .htaccess文件 <IfModule mod_rewrite.c> RewriteEngine On RewriteBase /wordpress/ RewriteRule ^index\.php$ - [L] RewriteCon

apache使用.htaccess文件中RewriteRule重定向后,URL中的加号无法解析

今天在使用.htaccess做伪静态的时候,发生一件怪事,URL里存在C++时会有问题,在处理C++这个词的时候,无论如何,$_GET都得不到++,只能得到C空格. 一开始我以为是没用urlencode处理,后来发现确确实实处理了,后台经过排查,确定是rewrite的问题,因为在单文件的环境是可以得到C++这个词的,当然,是经过了urlencode的. 原因:rewrite得不到c++这个词,是因为APACHE在得到参数后,自行做了urldecode处理,导致无法得到C++中的加号部分 决方案目

wget下载网站

命令格式如下: wget -r -p -np -k http://URL -r:在本机建立服务器端目录结构: -p: 下载显示HTML文件的所有图片: -np:只下载目标站点指定目录及其子目录的内容: -k: 转换非相对链接为相对链接.

wget下载网站整个目录

wget -r -p -np -k -P ./data/ http://example.com/eg/ 具体参数: -P 表示下载到哪个目录 -r 表示递归下载 -np 表示不下载旁站连接 -k 表示将下载的网页里的链接修改为本地链接 -p 获得所有显示网页所需的元素