什么的robots协议？Robots协议有什么用处？  
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，比如Windows系统自带的Notepad，就可以创建和编辑它。robots.txt是一个协议，而不是一个命令。robots.txt相当于网站的一张脸，一张接客的脸，接的搜索引擎的蜘蛛（或机器人、爬虫）。它是一种抓取协议文件，用于告诉搜索引擎spider，此网站中的哪些内容是不应被搜索引擎的索引，哪些是可以被索引的。
 
现在很多地方都有自动生成工具，百度站长工具，或者一些插件等，根据自己的喜好选择使用。这里有一个小技巧，将网站的地图链接放置在robots内，对网站的收录绝对是不小的帮助。
 
 

Tags：

转载请标注：SEO三人行——什么的robots协议？Robots协议有什么用处？