今天，接着robots文件设置的DIY部分，更确切的说应该是robots文件的高级阶段，就是不但懂得如何设置robots文件的基础部分，更懂得按照自己网站的需求去设置robots文件。总的原创是，利于搜索引擎对我们网站的收录。一般有如下几点，以下的举例名称只是举例，具体的目录及文件要看自己网站的目录，别照搬就行！
第一：图片目录的屏蔽
说到图片的屏蔽，那么我就给大家提个问题：为什么要屏蔽图片？如果要更好的回答这个问题，或者说更好的理解屏蔽图片目录的原因，就得先去理解搜索引擎的原理，这里先简单说下–因为以后我会详细的介绍搜索引擎的原理–我们队网站所做的任何事情的唯一目的就是让搜索引擎更好的去收录网站的内容，那么图片是搜索引擎不太喜欢的，所以我们有必要屏蔽掉，这样更有利于说说收录，一般的图片文件的目录是images。
第二：缓存目录的屏蔽
只要是正在运作的网站程序，都会有缓存目录，而这些缓存目录我们是不需要搜索引擎去收录的，所以就没必要让蜘蛛区抓取的，蜘蛛把这些无价值的东西抓取走，对网站是百害而无一益的。所以我们有必要将缓存目录屏蔽掉。
第三：CSS目录的屏蔽
CSS目录，这个绝对是对搜索引擎无用的东西，毫无疑问，直接屏蔽掉。
第四：部分程序的RSS页
这方面对于博客类型网站中比较常用到，像RSS页面，是一个高度重复的页面，完全有必要进行屏蔽，从而增加网站对搜索引擎友好。
第五：屏蔽双页面的内容
什么叫做双页面？就是一个动态页面和一个静态页面，而这两者搜索引擎对静态页面比较喜爱，我们只需要让搜索引擎抓取其中一个页面就可以了。两者若被搜索引擎完全索引，无疑是访问到了完全一致的内容，对搜索引擎友好性来说是有害无益的。那么我们选择哪一种页面？毫无疑问是静态页面了，因为静态页面更易于搜索引擎索引收录。
最后一点就是模板目录是否该屏蔽的问题，还存在争议。而个人觉得还是不屏蔽为好，因为模板目录里面还有很多网站内容的信息，如果屏蔽掉了，也许会对我们网站收录有影响。
DIY robots文件,码迷,mamicode.com