Seoer惜缘举例robots写法规则与含义：设置搜索引擎蜘蛛Spider

　　Seoer惜缘举例robots写法规则与含义：设置搜索引擎蜘蛛Spider

　　搜索引擎Robots协议放置在网站root目录下的robots.txt文本文件中，其中可以设置搜索引擎蜘蛛爬取规则。设置搜索引擎蜘蛛蜘蛛抓取内容的规则。下面Seoer Xiyuan给出了机器人编写规则和含义的例子： 首先，创建一个robots.txt文本文件，放在网站的根目录下，下面开始

　　搜索引擎Robots协议放置在网站root目录下的robots.txt文本文件中，其中可以设置搜索引擎蜘蛛爬取规则。设置搜索引擎蜘蛛蜘蛛抓取内容的规则。下面Seoer Xiyuan给出了机器人书写规则和含义的例子：

　　首先创建robots.txt文本文件放在网站根目录下，然后开始编辑设置Robots协议文件：

　　一、 允许所有搜索引擎蜘蛛抓取所有目录文件。如果文件没有内容，也意味着所有蜘蛛都可以访问。设置代码如下：

　　用户代理：*

　　禁止：

　　或

　　用户代理：*

　　允许：/

　　二、禁止搜索引擎蜘蛛抓取目录文件，设置代码如下：

　　用户代理：Msnbot

　　禁止：/

　　用户代理：Msnbot

　　禁止：/

　　比如，如果你想禁止MSN上的蜘蛛，就设置为Msnbot代表MSN上的蜘蛛。如果要禁止其他搜索引擎，只需更改蜘蛛的名称即可。其他蜘蛛的名称如下：

　　百度的蜘蛛：baiduspider

　　Google 的蜘蛛：Googlebot

　　腾讯搜搜：搜搜网

　　Yahoo 的蜘蛛：Yahoo Slurp

　　Msn 的蜘蛛：Msnbot

　　Altavista 的蜘蛛：滑板车

　　Lycos 蜘蛛：Lycos_Spider_(T-Rex)

　　三、禁止某个目录被搜索引擎蜘蛛抓取，设置代码如下：

　　用户代理：*

　　禁止：/directory name1/

　　禁止：/directory name2/

　　禁止：/directory name3/

　　把目录名改成你要禁止的目录，防止搜索引擎蜘蛛爬取。如果不写目录名，可能会被搜索引擎抓取。

　　四、禁止某个目录被某个搜索引擎蜘蛛抓取，设置代码如下：

　　User-agent：搜索引擎蜘蛛名描述（蜘蛛名如上） Disallow：/directory name/ description（此处设置禁止蜘蛛爬行的目录名） 比如你想ban从msn蜘蛛爬取admin文件的文件夹，可以设置代码如下：

　　用户代理：Msnbot

　　禁止：/admin/

　　五、设置某类文件禁止某搜索引擎蜘蛛抓取，设置代码如下：

　　用户代理：*

　　Disallow: /*.htm description（其中“.htm”表示禁止搜索引擎蜘蛛抓取所有后缀为“htm”的文件）

　　六、允许所有搜索引擎蜘蛛访问具有一定扩展名后缀的网页进行抓取，设置代码如下：

　　用户代理：*

　　允许：.htm$描述（其中“.htm”表示允许搜索引擎蜘蛛抓取所有后缀为“htm”的文件）

　　七、只允许某个搜索引擎蜘蛛抓取目录文件，设置代码如下：

　　User-agent：搜索引擎蜘蛛名描述（蜘蛛名如上）

　　禁止：