谷歌网页视频抓取工具(Google发布重大更新：抓取错误功能检测和报告多种新的错误类型)

　　谷歌网页视频抓取工具(Google发布重大更新：抓取错误功能检测和报告多种新的错误类型)

　　抓取错误是 Google 网站网站站长工具中最受欢迎的工具之一。昨天，Google 发布了抓取错误工具的重大更新，使其更加方便和有用。

　　现在，错误获取功能可以检测和报告许多新类型的错误。为了让数据更直观，网站站长工具将错误分为两类：网站错误（站点错误）和链接地址错误（URL错误）。

　　内容

　　网站错误

　　网站 错误是指影响整个网站的错误，而不是具体的URL链接。包括DNS解析失败、服务器连接问题、获取robots.txt文件问题等。之前谷歌站长工具只报相关链接地址错误。但是这样做没有多大意义，因为它们不是由特定链接引起的。事实上，这个错误甚至会阻止 Googlebot 请求 URL 链接地址。于是谷歌网站管理员工具开始追踪此类错误的频率，并在适当的时候向网站管理员发送提醒。

　　查看网站误差频率和频率变化曲线

　　另外，如果你的网站没有犯过任何错误，或者最近一段时间这方面没有出现任何问题——事实上，大多数网站都处于这种情况——他们会它只显示一切正常的简单提示，并没有显示大量影响管理员访问其他信息的信息。总之，如果你看到的提示图标全是绿色，说明一切正常。

　　最近如果没有问题网站，会显示这种友好的提示信息

　　网址链接错误

　　URL 链接错误是指向特定页面的那些错误。当谷歌机器人尝试抓取链接时，它能够解析DNS，连接到服务器，抓取robots.txt文件，但在请求URL链接地址时遇到错误。根据错误原因，URL链接地址错误有以下几种类型。如果 网站 提供 Google 新闻内容或移动数据内容（CHTML/XHTML），这些错误将根据不同的类别显示。

　　链接错误提示

　　简洁的错误信息

　　以前，Google 网站网站站长工具为每个类别显示多达 100,000 个错误。检查这么多错误信息是非常困难的。您甚至无法知道哪些错误是重要的（例如无法打开主页），哪些错误是次要的（例如当其他 网站 链接到您的网页时）拼写错误）。基本上不可能对 10 万条错误记录进行排序、搜索或标记处理进度。

　　在新版抓取错误中，谷歌开发者尽量只提供最重要的错误信息。对于每个错误分类，一般只提供 1000 条被认为是最重要的错误信息。 网站管理员还可以对这些错误进行排序过滤，查看错误详情并进行处理，然后将已经处理过的错误进行标记并通知谷歌（这样就不会再次显示，除非错误再次出现） .

　　对任何列实时排序或过滤错误消息

　　对于某种错误类型，某些网站可能有超过1000个错误，超过这个数量的错误仍然可以反映在错误总数中。还有一些图标可以显示过去 90 天的历史错误数据。有人可能会担心 1000 个错误的详细信息加上粗略的错误总数可能不够。 Google 正在考虑提供一个 API 接口来解决这个问题。

　　现在，网站Webmaster Tools 将移除被 robots.txt 屏蔽的链接列表，因为虽然这些链接有时有助于诊断 robots.txt 错误，但这些链接是被管理员专门屏蔽的（当然它应该清楚，您可以自己阻止它）。为了关注真正的错误，被robot.txt屏蔽的链接将很快移至“网站设置（站点配置）”部分的“爬虫访问”页面。

　　查看错误详情

　　单击主列表中的单个错误链接可激活显示详细错误信息的面板，包括上次提取时间、发现错误的最早时间和简单说明。

　　在主列表中可以看到详细的错误信息

　　在详细信息面板中，您也可以直接点击相关链接查看访问过程中会出现哪些错误。如果没有问题，可以将此错误标记为“已修复”（以后会提供更多选项），也可以查看此类错误的帮助信息，包括网站地图的链接文件列表、链接去链接地址的其他页面列表等，也可以用Googlebot模拟爬取链接，看看有没有其他问题或者是否已经正常修复。

　　查看链接到此页面的其他页面地址列表

　　采取行动

　　错误爬取功能中非常值得期待的一点是，网站管理员其实可以专注于解决最重要的问题。谷歌网站管理员工具对错误进行分类，而这些高优先级项目确实是您可以解决的问题。要么你需要修复网站上的链接，要么你需要处理服务器上的软件问题，要么你需要更新网站映射文件来清理那些不需要的链接，或者添加一个301重定向将用户重定向到正确的页面等。谷歌站长工具在确定优先级时会考虑很多因素，包括你是否在网站地图中收录了网址，有多少页面链接到该地址（还要考虑这些页面是否在你自己的网站上)，该链接最近从搜索引擎获得了多少流量等。

　　一旦您认为问题已修复（您可以使用 Googlebot 模拟抓取页面），您可以将其标记为“已修复”（当然，您必须是管理员）。此操作会通知 Google 网站站长工具，然后该错误将从错误列表顶部（重要 1000 项）中删除并不再显示（除非 Googlebot 在抓取页面时再次遇到相同的错误）。

　　将错误标记为已修复

　　英文原文由网站站长工具团队的 Kurt Dresner 撰写。由于时间仓促，本文不提供翻译以保证质量。请保留本段内容，以表达对原作者的尊重。

　　同时Google也更新了网站Webmaster Tools的帮助文档的相关部分，并提供了参考链接。 ©

　　这篇文章发表在 Waterscape 页面上。永久链接：。转载请保留此信息及相关链接。