网站内容 优化(处理网站上的重复内容是一项非常非常困难的工作)

　　网站内容 优化(处理网站上的重复内容是一项非常非常困难的工作)

　　处理 网站 上的重复内容是一项非常艰巨的任务。随着网站的发展，各种功能必须不断增加、改变或删除；与此同时，不同的网站内容来来去去。一段时间后，很多网站会以多个URL的形式出现系统的垃圾代码，都返回相同的内容。一般来说，除了增加搜索引擎抓取和索引内容的难度外，你的网站上的重复内容不构成问题。此外，通过导入链接获得的 PageRank 和类似信息可能会在我们尚未识别为重复内容的网页之间传播，从而导致您的首选网页在 Google 中的排名较低。

　　处理你的 网站 内部重复内容的步骤

　　识别 网站 上的重复内容。

　　识别 网站 上的重复内容是处理重复内容的第一步，也是最重要的一步。使用一个简单的方法来实现这个目标，就是从一个网页中选择一个唯一的文本代码，然后搜索这个文本，并使用谷歌的site:query将搜索结果限制在你自己的网页上网站@ >. 这样，收录相同内容的多个结果就是您需要处理的重复内容。

　　确定您需要的首选 URL URL。

　　在处理重复内容之前，您必须确保您首选的 URL 结构。对于这段内容，您想使用哪个 URL？

　　保持网站的内部统一。

　　选择首选 URL 后，请确保在 网站 内的所有可能位置使用它们（包括您的站点地图文件）。

　　必要和可能时使用 301 永久重定向。

　　如果可能，您可以使用 301 代码将重复的 URL 重定向到您选择的 URL。这可以帮助用户和搜索引擎在访问重复 URL 时找到您的首选 URL。如果你的网站有多个域名，可以选择一个域名，使用其他域名的301重定向到这个域名。同时，确保它重定向到正确的特定网页，而不仅仅是域根目录。如果网站同时支持www和非www主机名，您可以选择其中之一，使用Google网站网站管理员工具中的首选域设置，然后进行适当的重定向。

　　如果可能，请在您的页面上使用 rel="canonical"。

　　在无法使用301重定向的情况下，您可以使用rel="canonical"来方便搜索引擎更好地了解您的网站和首选URL。，必应和雅虎！其他主要搜索引擎都支持使用此链接标签。

　　如果可能，请使用 Google网站Webmaster Tools 中的 URL 参数处理工具

　　如果部分或全部 网站 重复内容来自带有查询参数的 URL，此工具将帮助您通知我们 URL 中重要和不相关的参数。关于此工具的更多信息，请参考网站管理员新的参数处理工具，帮助您减少重复内容。

　　如何处理robots.txt文件？

　　使用 robots.txt 文件禁止抓取重复内容不在我们推荐的方法之内。我们建议您不要使用 robots.txt 文件或其他方法来禁止访问 网站 上的重复内容。您可以使用 rel="canonical" 链接标签、URL 参数处理工具或 301 重定向。如果完全阻止对重复内容的访问，搜索引擎必须将这些 URL 视为单独的不同网页，因为它们无法分辨这些 URL 实际上是指向相同内容的不同 URL。更好的解决方案是允许它被抓取，同时使用我们推荐的方法将这些 URL 明确标记为重复内容。如果您允许我们访问这些网址，Google 抓取机器人将学习检查这些网址以确定它们是否是重复的内容，可以很好的避免各种情况下不必要的重复爬行。为了防止重复内容仍然导致我们对您的网站进行过多的抓取和搜索，您还可以在Google网站站长工具中调整抓取速度。

　　我们希望这些方法可以帮助您控制 网站 上的重复内容。

　　资源下载 本资源仅供注册用户下载，请先登录