搜索引擎如何抓取网页(一段代码限制了所有的搜索引擎建立你的网页快照。。)

　　搜索引擎如何抓取网页(一段代码限制了所有的搜索引擎建立你的网页快照。。)

　　上面的一段代码限制所有搜索引擎创建您的网页快照。如果我们只需要限制一个搜索引擎来创建快照，我们可以这样写

　　需要注意的是，这样的标记只是禁止搜索引擎创建你的网站的快照。如果您想禁止搜索引擎索引您的页面，请参考以下方法。

　　第二种情况：禁止搜索引擎抓取该页面。

　　在SEO中，常用于禁止搜索引擎抓取该页面或允许搜索引擎抓取该页面。所以我们需要讨论这部分的关键点。

　　为了防止搜索引擎抓取这个页面，我们一般的做法是在页面的meta标签中添加如下代码：

　　这里的META泛指所有的搜索引擎，这里也可以特指某个搜索引擎，比如META、META等。内容部分有四个命令：index、noindex、follow、nofollow。命令用英文“,”分隔。

　　INDEX 命令：告诉搜索引擎抓取这个页面

　　FOLLOW命令：告诉搜索引擎你可以在这个页面找到链接，然后继续访问获取。

　　NOINDEX 命令：告诉搜索引擎不允许抓取此页面

　　NOFOLLOW 命令：告诉搜索引擎不允许从此页面找到链接并拒绝其继续访问。

　　根据上面的命令，我们有以下四种组合

　　：您可以抓取此页面，并且可以继续索引此页面上的其他链接

　　：不抓取此页面，但您可以抓取此页面上的其他链接并将其编入索引

　　：您可以抓取此页面，但不允许抓取此页面上的其他链接并将其编入索引

　　：您不得抓取此页面，也不得沿此页面抓取以索引其他链接。

　　这里需要注意的是，两个对立的反义词不能写在一起，例如

　　或者同时写两个句子

　　这是一个简单的写法，如果是

　　的形式，可以写成：

　　如果

　　的形式，可以写成：

　　当然，我们也可以将禁止创建快照和搜索引擎的命令写入命令​​元标记中。从上面的文章，我们知道禁止创建网页快照的命令是noarchive，那么我们可以写成如下形式：

　　如果是针对单个不允许创建快照的搜索引擎，比如百度，我们可以这样写：

　　如果不屑于meta标签中关于蜘蛛的命令，那么默认命令如下

　　因此，如果我们对这部分不确定，我们可以直接写上面这行命令，或者留空。

　　在SEO中，对蜘蛛的控制是内容中非常重要的一部分，希望大家能够准确把握这部分内容。