网站被百度蜘蛛抓取后怎么办？如何优化索引量

　　网站被百度蜘蛛抓取后怎么办？如何优化索引量

　　在网站被百度蜘蛛抓取后，经​​过一系列计算，它被内置到索引数据库中，并且有机会与搜索用户会面。因此，索引量一直是网站管理员的关注焦点，但是对于索引量工具却存在一些误解，这是正确的答案：

　　√索引量不等于网站流量：索引库分为多个级别。仅当您进入上层索引库时，您才有更多与搜索用户会面的机会；进入下层图书馆的机会很小。因此，索引量的总体增加或减少并不表示访问量有任何变化；

　　√索引量的变化不会直接影响流量的变化：当流量发生巨大变化时，索引量数据可以用作故障排除的渠道之一，但它不是唯一的调查渠道，并且索引量的变化不会直接影响流量的变化；

　　√指标量波动，指标量波动10％（经验值），甚至更大，这可能是正常的。只要流量变化不大，就不必紧张。

　　4. 2. 2流程和关键词工具

　　流量和关键词工具可在百度搜索结果和点击量数据中提供该网站流行的关键词显示。通过监视关键词的性能，它可以帮助网站更好地进行优化，并且流量和关键词工具可以全面帮助网站站长了解百度搜索引擎中网站的性能，从而确定网站的优化方向页和网站，并为网站的运营决策提供了分析依据。

　　关于流量和关键词工具，还有一点需要强调。如果网站站长需要在反馈中心提交有关网站交通异常的信息，请使用此工具中的数据和数据截图作为轻松进行人员分析网站问题的证据。

　　4. 2. 3抓取频率工具

　　什么是爬行频率

　　爬网频率是搜索引擎在单位时间内（天级别）对网站服务器进行爬网的总次数。如果搜索引擎过于频繁地对站点进行爬网，则服务器很可能不稳定。百度蜘蛛将根据网站内容更新频率和服务器压力等因素自动调整抓取频率。

　　在什么情况下可以抓取频次上限调整：

　　首先，百度蜘蛛会根据网站服务器压力自动调整抓取频率；

　　第二，如果百度蜘蛛的抓取影响了网站的稳定性，则网站站长可以使用此工具来调整百度蜘蛛每天抓取网站的频率限制。

　　重点1：调整抓取频率上限并不意味着增加抓取频率；

　　重点2：建议网站站长仔细调整抓取频率的上限。如果爬网频率太小，将影响百度蜘蛛对网站的及时爬网，从而影响索引。

　　4. 2. 4爬行诊断工具

　　什么是爬网诊断

　　通过爬网诊断工具，网站管理员可以从百度蜘蛛的角度查看爬网的内容，并自我诊断百度蜘蛛看到的内容是否符合预期。每个站点每周可使用200次，爬网结果仅显示百度蜘蛛可见的先前内容。

　　爬网诊断工具可以做什么？

　　当前，爬网诊断工具具有以下功能：

　　√诊断已爬网的内容是否符合期望。例如，在许多产品详细信息页面上，价格信息是通过输出输出的，这对百度蜘蛛不友好，并且价格信息很难在搜索中应用。问题解决后，可以使用诊断工具再次检查；

　　√诊断是否在网页上添加了黑色链接和隐藏文本。 网站如果被黑客入侵，则可能会添加隐藏的链接。这些链接仅在被百度抓取时出现，并且需要使用此抓取工具进行诊断。

　　4. 2. 5抓取异常工具

　　什么是爬网异常

　　百度蜘蛛无法正常爬网，它正在异常爬网。通常，网站抢夺异常是由网站本身引起的。 网站需要根据工具提示尽快检查网站并解决问题。

　　异常爬网对网站有什么影响

　　对于无法正常抓取大量内容的网站，搜索引擎将认为网站具有用户体验缺陷，并减少对网站的评估，该评估会受到抓取，建立索引和搜索评估。负面影响的程度将最终影响网站从百度获得的流量。

　　异常爬网的原因是什么？

　　●网站异常

　　√DNS异常：当百度蜘蛛无法解析网站的IP时，将发生DNS异常。可能是网站 IP地址错误，或者域名服务提供商禁止了百度蜘蛛。请使用或主持人检查您的网站 IP地址是否正确且可解析。如果不正确或无法解决，请联系域名注册商更新网站 IP地址；

　　√连接超时：获取请求的连接超时可能是服务器过载，网络不稳定引起的

　　√获取超时：获取请求连接建立后，下载页面的速度太慢，导致超时。可能的原因是服务器超载且带宽不足；

　　√连接错误：建立连接后，无法连接或其他服务器被拒绝。

　　●异常链接

　　√访问被拒绝：采集器启动搜寻，返回码为403;

　　√无法找到该页面：采集器启动搜寻，并且返回码为404;

　　√服务器错误：采集器启动搜寻，返回码为5XX;

　　√其他错误：采集器启动搜寻，返回代码为4XX，不包括403和404。

　　4. 3提交工具4. 3. 1链接提交工具

　　当前有4种提交方法，即主动推送，手动提交和自动推送。有关这四种推送方法之间的区别，请参见下图：

　　建议有新闻属性站点，并使用主动推送进行数据提交；新的验证平台网站或没有及时性要求的网站可以使用网站所有要提交的内容；技术能力薄弱或网站内容不足的网站，可以使用手动提交方法来提交数据；最后，您还可以使用插件，自动推送方法将数据提交给百度。

　　使用链接提交工具，还应该注意，某些网站将使用第三方插件来推送数据。插件推送方法要求网站管理员仔细检查推送逻辑。在网站管理员使用第三方插件推送数据之前发生过。第三方插件使用域名+标题进行推送，以便URL中有中文字符被推送到百度。带有中文字符的网址将跳到实际网址301。在这种情况下，您将无法享受快速抓取的好处。的。

　　链接提交工具可以快速帮助网站实现内容捕获，而第三方插件的使用可以快速帮助网站站长解决推送问题。网站管理员只需在选择插件时仔细检查插件数据逻辑，否则将推送错误的数据。 网站数据无法享受快速获取的好处。

　　4. 3. 2为什么将死链接提交工具用作死链接提交工具

　　网站无效链接数据积累过多并显示在搜索结果页面上时，会对网站自身的访问体验和用户转化产生负面影响。另一方面，百度检查无效链接的过程也将给网站带来更多负担，并影响网站中其他正常页面的爬网和索引。

　　注意：

　　√请推送协议死链接数据，该死链接工具仅支持协议死链接数据；

　　√删除提交的死链接后，网站可以删除提交的死链接文件，否则搜索将继续获取死链接文件并确认文件内容。

　　什么是无效链接规则提交？

　　无效链接规则是链接前缀，所有与该前缀匹配的链接都是无效链接。

　　当前支持两种类型的无效链接规则：

　　√目录规则：以“ /”结尾的前缀；

　　√CGI规则：以“？”结尾的前缀。

　　什么是死链接文件提交？

　　√网站管理员需要提交已被百度索引并需要删除的链接。如果无法在百度上搜索链接，则无需提交无效链接；

　　√需要删除的所有链接都需要设置为404。如果有的链接不是无效链接，则文件验证将失败，并且无法删除无效链接；

　　√如果无法捕获死链接文件，则可以使用爬网诊断工具确定是否可以正常捕获死链接文件；

　　√网站管理员提交无效链接后，请不要在其中阻止百度蜘蛛。阻止百度蜘蛛会影响链接的正常删除；

　　√如果需要删除的链接已删除，请及时删除失效的链接文件；

　　√提交失效链接工具，最多可能需要2-3天才能生效。如果网站管理员发现该链接尚未删除，则可以在一周后重新提交。

　　规则提交：

　　√规则无效链接不支持通配符；

　　√规则的无效链接必须基于？或/结束规则。

　　有关提交无效链接的常见问题

　　√网站死链接数据，除了使用死链接提交工具外，您还可以阻止百度爬网。百度不会根据文件中的规则对内容进行爬网。如果内容已经在线显示，它将被阻止；

　　√如果已提交无效链接文件，则抓取工具将继续抓取并检查文件中是否有更新的链接；如果捕获到更新的链接，它将再次检查网站；如果无效链接提交已生效，并且以后不会更新此文件，则可以直接在工具中删除该文件；

　　√搜索资源平台中的链接分析工具具有无效链接分析功能，可以帮助网站在网站中查找无效链接。

　　4. 3. 3移动适应工具

　　什么是移动适应以及移动适应工具的作用

　　如果网站既有PC站又有移动站，并且两者的内容可以对应，即主要内容完全相同，则网站可以使用移动通信对应工具，百度可以方便地识别PC与移动台之间的关系。

　　网站管理员通过移动适应工具在级别或URL级别提交PC页面和移动页面之间的对应关系。如果验证能够成功通过，它将帮助百度移动搜索将移动用户直接发送到相应的移动页面结果。积极参与“移动适应”将帮助手机站在百度移动搜索上以获取更多流量，同时以更好的浏览效果赢得用户的声誉。

　　如何使用移动适配器工具

　　当网站同时拥有移动站点和PC站点，并且移动页面和PC页面的主要内容完全相同时，您可以通过百度搜索资源平台提交正确的改编关系（原创百度网站管理员平台）来获取更多的移动流量。

　　第一步：注册并登录百度搜索资源平台（以前称为百度网站管理员平台）；

　　第2步：提交PC 网站并验证站点和ID之间的归属关系，具体的验证网站归属方法可在帮助文档中找到；

<p>第3步：在站点验证之后，输入“ 网站支持”-“数据导入”-“移动适配工具”，选择需要移动适配的特定PC站，然后选择“添加适配关系””;