搜索引擎禁止的方式优化网站(Robots.txt禁止收录协议的写法(很多网站优化师做优化))

　　搜索引擎禁止的方式优化网站(Robots.txt禁止收录协议的写法(很多网站优化师做优化))

　　robots.txt禁止写收录协议

　　很多网站优化者做优化的时候不知道机器人是什么？他们甚至不知道如何编写机器人文件。接下来，科技将教你如何编写正确的robots.txt协议。

　　什么是 Robots.txt？

　　Robots.txt是网站与搜索引擎之间协议的纯文本文件。当搜索引擎蜘蛛访问一个站点时，它首先会爬行检查站点根目录中是否存在robot.txt。如果存在，则根据文件的内容确定访问范围。如果没有，蜘蛛将沿着链接爬行。机器人放置在空间的根目录中。

　　1、机器人语法

　　用户代理： *

　　说明：“*”星号表示允许所有蜘蛛爬取这个网站

　　注意：第一个英文必须大写。当冒号是英文时，冒号后面有一个空格。这几点不能错。

　　不允许

　　说明：不允许蜘蛛爬行

　　例如：

　　不允许： /*

　　说明：禁止搜索引擎蜘蛛爬取整个网站（网站在做好之前一定不能被搜索引擎蜘蛛爬取）

　　2、 路径后有斜线和无斜线的区别

　　禁止：/images/ 禁止：/images

　　说明：如果有斜线，则禁止抓取图片的整个文件夹。如果没有斜线，则表示路径中带有 /images关键词 的所有内容都将被阻止

　　阻止动态链接的方法

　　禁止：/*=* 禁止：/*?* 禁止：/*&*

　　说明：星号代表所有字符，所有等号、问号、&号的链接都屏蔽了（必须有两个*号）

　　屏蔽css文件和js文件的写入

　　禁止：/.css$

　　禁止：/.js$

　　屏蔽一个文件夹，但可以抓取其中一个文件：/templets/qiche

　　禁止：/templets

　　允许：/qiche

　　说明：屏蔽文件夹模板，但可以抓取qiche文件夹中的文件之一

　　3、编写robots.txt要注意什么

　　斜线：/代表整个网站

　　如果“/”后面有多余的空格，整个网站都会被阻塞

　　不要禁止正常内容

　　有效时间为几天到两个月

　　具体措辞：——————-

　　用户代理： *

　　不允许： /