网页flash抓取器 mac(Scrutiny8forMac如何评估网站URL的源？8)

　　网页flash抓取器 mac(Scrutiny8forMac如何评估网站URL的源？8)

　　Scrutiny 8 for Mac 是许多网站 站长使用的网页优化工具。使用 Mac 版 Scrutiny 8 可以帮助您检查 网站 中收录的每个链接的状态以提高其质量。提高网站的排名，为访问者提供更好的用户体验。它带有 网站 管理员，您可以在其中轻松输入要开始评估 URL 的 网站 来源。我们来看看关于网页优化工具Scrutiny 8 for Mac 的常见问题。

　　关于 Mac 版 Scrutiny 8 的常见问题

　　如果您的扫描结果不符合预期，请检查答案是否在此处。

　　搜索完成时只报告了一个链接

　　快速测试-关闭浏览器中的 javascript 和 cookie，然后尝试重新加载页面。如果您没有按预期看到您的网页，则您的 网站 需要启用它们中的一个或两个。这些选项位于“高级”选项卡下的站点设置和选项下。

　　首先要尝试将用户代理字符串切换为 Googlebot（这是首选项中的第一项，第一个选项卡，您应该可以从下拉列表中选择 googlebot）。如果这不起作用，请切换到“真实”浏览器用户代理字符串之一，即 Safari 或 Firefox。

　　现在，审查现在有一个工具可以帮助诊断此故障。它可能会预测问题并在尝试抓取后为您提供诊断窗口。如果您拒绝报价或没有看到报价，您仍然可以从“工具”菜单“启动 URL 详细分析”访问该工具。（无论爬取成功与否，都可以从菜单中使用该工具）。它显示了很多内容，包括加载了 Scrutiny 接收到的页面的浏览器窗口、html 代码本身以及请求/响应详细信息。

　　页面超时/Web 服务器停止响应/509/429/999 状态代码

　　这并不少见。有些服务器会同时响应多个请求，但有些服务器会遇到问题，或者被同一个IP轰炸，可能会故意停止响应。

　　用于引入延迟的解决方案。从版本 8 开始，Scrutiny 的处理更加优雅。现在在线程滑块上方有一个控件，允许您指定每分钟的最大请求数。

　　你不需要为超时和延迟做任何数学计算；它不是“每个线程”。审查将根据您设置的线程数计算事物（使用一些线程将有助于保持平稳运行）。如果它符合您指定的最大请求，它将减少线程数。

　　如果您的服务器响应缓慢，您可以增加超时时间。

　　据我们所知，999 是 LinkedIn 特有的，它们在阻止自动检查器和机器人方面似乎非常成功。如果你真的不想在结果中使用这些代码，唯一合理的方法是设置一个规则来忽略或不检查它们。

　　在没有接近完成的情况下，Scrutiny 似乎抓取了比现有/扫描的更多的页面

　　出于多种原因，审查可能会在循环中进行。最有可能的是，查询字符串中存在某种会话 ID 或跟踪 ID，这使得每个 URL 看起来都是唯一的，甚至重复访问同一页面。这可能是一个论坛/讨论区。对此的简单解决方案是使用“忽略查询字符串”设置。

　　如果您必须允许查询字符串，因为其中有页面 ID，Scrutiny 可以选择仅忽略会话 ID（或其他单个参数）。

　　浏览器正常显示的链接，会报404或其他错误

　　这种情况发生在某些服务器上，其中 和 出现在 网站 上。似乎有些服务器不喜欢快速请求 http 和 https URL。尝试从 开始并将 黑名单（制定规则“不要检查收录 http:// 的 URL”），然后检查 https:// 链接是否返回正确的代码。

　　在“首选项”中更改用户代理字符串也是值得的。服务器有时会对无法识别的浏览器的 UA 字符串做出不同的响应，尽管版本 8 会自动使用其他设置进行一定量的重试

　　[社交 网站 ie Youtube, Facebook] 链接在 Scrutiny 中被报告为错误链接或错误，但链接在我的浏览器中正常工作？

　　在浏览器中，注销相关的网站，然后访问链接。然后您将看到与 Scrutiny 看到的相同的页面，因为默认情况下，它不会尝试进行身份验证。

　　如果您看到一个页面显示“您需要登录才能查看此内容”，那么这就是答案。如果网页要求你登录，网站是否应该返回404是有争议的，但这应该与相关的网站结合使用。

　　你有几个选择。您可以在 Scrutiny 中打开身份验证和 cookie（并使用这些复选框右侧的按钮登录）。您可以设置规则，以便 Scrutiny 不会检查这些链接，或者您可以更改您在社交 网站 上的*敏*感*词*，以便每个人都可以看到内容。

　　如果问题是 LinkedIn 链接提供状态 999，那么这是一个不同的问题，LinkedIn 正在检测自动请求并发送 999 代码以示抗议。避免这种情况的唯一方法（据我所知）是严格限制审查（参见上面的“页面超时/网络服务器停止响应”），但这会严重减慢扫描速度，所以最好设置一个规则忽略LinkedIn链接

　　限制

　　如果您的站点是一个较大的站点，随着抓取页面列表和检查链接的时间变长，对处理器和HD（虚拟内存）的内存使用和需求会增加。

　　过去几个版本，评论变得更有效，计算机容量也增长了，但是如果网站足够大（百万链接），那么应用程序最终会耗尽资源，显然无法继续。

　　以上是关于网页优化工具Scrutiny 8 for Mac的常见问题解答。我希望它能解决您在使用 Scrutiny 8 for Mac 时遇到的一些问题。