robots文件是网站与搜索引擎蜘蛛爬虫之间的一份协议，用txt文本格式告诉蜘蛛爬虫网站有哪些页面可以被抓取，哪些页面不可以抓取的权限。所以在seo优化中robots指的是文件而不是一个命令或者参数，这点希望大家不要搞混了。
正常搜索引擎访问一个站点的时候，首先会先看站点有没有robots.txt文件，如果没有则蜘蛛爬虫会抓取网站上的所有数据；如果有蜘蛛爬虫会根据robots.txt文件内容来确定自己能够抓取访问的文件有哪些。
运用好robots文件对于seo优化来说也是作用挺大的，我们先来看看robots.txt文件可以有哪些作用：
一、网站遇到升级或者改版，在改版前有很多页面可能在改版后页面不存在了，这种情况可以使用robots文件来告诉蜘蛛爬虫，不要再对这些页面地址进行抓取，并配合404设置来防止死链的产生。
二、如果你的站点目录文件有一些不想公开，但是自己却可以查看的情况下，可以使用robots文件来让蜘蛛不对这些目录文件地址不要抓取。
三、动态页面不利于seo优化，我们如果网站本身没有动态页面地址但有时候因为使用的cms出现问题导致网站产生了动态链接的话，可以使用robots文件来禁止蜘蛛爬虫对这类页面的抓取。
本文由广州SEO原创，转载请保留链接: http://www.banyeseo.com/seojc/122.html
原文地址：https://blog.51cto.com/14192104/2372665
时间： 2024-08-10 06:34:10