一、Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。txt是一个协议,而不是一个命令。但是,Robots协议是网站出于安全和隐私考虑,防止搜索引擎抓取敏感信息而设置的。如果搜索引擎都不遵守这个协议,那么互联网将受到不可估量的灾难,所谓无规矩不成方圆。 二、在搜索引擎都遵守游戏规则的前提下,robots协议将为我们的网站保驾护航。下面了解robots协议文件的写法。 1、Robots有三个命令,两个通配符。三个命令分别为User-agent、Disallow、Allow;两个通配符分别为*、$。 2、…