RobotsMETA标签的缺省值标签（ROBOTSMETA）规则介绍及注意事项

　　RobotsMETA标签的缺省值标签（ROBOTSMETA）规则介绍及注意事项

　　二、 机器人 META 标签

　　1、什么是机器人 META 标签

　　Robots.txt 文件主要是限制搜索引擎对整个站点或目录的访问，而Robots META 标签主要是针对特定页面的。与其他META标签（如使用语言、页面描述、关键词等）一样，Robots META标签也被放置在页面上，专门告诉搜索引擎ROBOTS如何抓取页面内容。具体形式类似（见加粗部分）：

　　...

　　2、Robots META 标签编写方法：

　　Robots META标签没有大小写区分，name=”Robots”表示所有搜索引擎，对于特定的搜索引擎可以写成name=”BaiduSpider”。内容部分有四个命令选项：index、noindex、follow 和 nofollow。命令以“,”分隔。

　　INDEX 命令告诉搜索机器人抓取页面；

　　FOLLOW指令表示搜索机器人可以继续沿着页面上的链接爬行；

　　Robots Meta标签默认值为INDEX和FOLLOW，inktomi除外。对于它，默认值为INDEX、NOFOLLOW。

　　这种方式有四种组合：

　　地点：

　　可以写成

　　;

　　可以写成

　　需要注意的是，上述robots.txt和Robots META标签限制搜索引擎机器人（ROBOTS）抓取网站内容只是一个规则，需要搜索引擎机器人的配合。并非每个机器人都符合要求。

　　目前似乎大部分搜索引擎robots都遵守robots.txt的规则，而对于Robots META标签，目前支持的并不多，但正在逐渐增多。比如知名搜索引擎GOOGLE就完全支持，GOOGLE还增加了一个命令“archive”，可以限制GOOGLE是否保留网页快照。例如：

　　是指抓取网站上的页面并跟踪页面中的链接，但不要在GOOLGE上保留该页面的网页快照。