网站内容抓取(谷歌优化可以确定多个页面何时具有不同语言的相同内容)

　　网站内容抓取(谷歌优化可以确定多个页面何时具有不同语言的相同内容)

　　Google 的 John Mueller 本周在 网站Admin Center 的一次视频群聊中透露，Googlebot 能够在抓取之前识别重复的内容。

　　网站seo 所有者提出了一个问题，想知道 Google 是否以及何时会考虑将法文版页面视为英文版的副本。

　　Google 优化工具能否确定多个页面何时具有不同语言的相同内容？如果是这样，它在搜索结果中是如何处理的？

　　在穆勒的回复中，他透露，在某些情况下，谷歌可以检测到网页何时共享相同的内容，甚至不需要抓取页面。这是需要注意的，尤其是涉及到页面的 URL 结构时。

　　“有时发生的情况是，我们主动认识到某些内容可能是重复的，甚至在它被抓取之前。因此，当我们看到差异时，例如，在 URL 的这一部分中显示的内容中，我们通常会注意到某处与什么不太相关显示在页面上。

　　因此，可能就像您有一个可以设置为任何类型术语的语言参数一样，我们可能已经尝试过类似“language=English”、“language=French”、“language=German”，...如果我们发现所有这些页面都显示了英文内容，除了选择*敏*感*词*语版本的“language=Spanish”，我们可能会假设这个语言参数实际上与这个页面无关，那么我们可能会错过这个实际上有独特内容的页面。"

　　让我们打开包装，从更广泛的角度来看它。暂时忘记语言。这个特定的例子涉及语言，但穆勒所说的也适用于相同语言的内容。

　　Mueller 在这里所说的是，如果一个页面共享相似的 URL 参数，并且彼此无法区分，那么 Google 可能会确定该页*敏*感*词*有重复的内容。

　　显然这不是一个理想的情况，因为在某些情况下，具有独特内容的页面与具有精确重复的页*敏*感*词*有相似的 URL 参数。

　　通过关注 网站 如何生成 URL 参数，网站 所有者可以避免将唯一内容视为重复内容的问题。

　　Mueller 承认，当页面被视为重复时，网站管理员可能并不总是这样做 - 有时 Google 也会将其作为自己的“错误”。