网站内容更新机制(百度spider404返回码的处理逻辑是什么?(图))
优采云 发布时间: 2021-10-15 10:34网站内容更新机制(百度spider404返回码的处理逻辑是什么?(图))
学习seo的人一定非常了解以下返回码的含义,不熟悉的也应该了解200请求成功、301重定向、404未找到等基础知识。下面先介绍一下百度对各个状态的处理逻辑。
百度蜘蛛对常用http返回码的处理逻辑如下:
404
404 返回码的意思是“NOT FOUND”。百度会认为该网页无效,因此通常会从搜索结果中删除,而蜘蛛会在短期内再次找到该网址而不会对其进行抓取。
503
503 返回码的含义是“服务不可用”。百度会认为网页暂时无法访问,通常网站暂时关闭,带宽受限等都会造成这种情况。对于返回503的网页,百度蜘蛛不会直接删除该网址,短期内还会再次访问。届时,如果网页已经恢复,就可以正常抓取;如果继续返回503,那么短时间内会被多次访问。但是如果网页长时间返回503,那么这个url仍然会被百度认为是失效链接,会从搜索结果中删除。
403
403返回码的意思是“禁止访问”,百度会认为该网页当前被禁止访问。在这种情况下,如果是新发现的网址,百度蜘蛛暂时不会抓取,会在短期内再次检查;如果是百度的收录url,暂时不会直接删除,短期内还会再次访问。那个时候,如果网页被允许访问,就会正常抓取;如果仍然不允许,将在短时间内访问多次。但如果网页长时间返回403,百度也会认为是无效链接,从搜索结果中删除。
301
301返回码的意思是“Moved Permanently”,百度会认为网页当前重定向到了新的url。在网站迁移、域名更换或网站改版的情况下,建议使用301返回码,以尽量减少改版带来的流量损失。虽然百度蜘蛛现在对 301 跳转的响应周期更长,但我们仍然建议您这样做。
如果网站暂时关闭,无法打开网页时,不要立即返回404。建议使用 503 状态。503可以通知百度蜘蛛页面暂时不可用,请稍后再试。
如果百度蜘蛛对您的网站抓取压力过大,请尽量不要使用404,也建议返回503。这样,百度蜘蛛过一段时间会再次尝试抓取该链接。如果该站点当时是免费的,它将被成功抓取。
一些网站希望百度只会收录部分内容,比如审核后的内容,一段时间积累的新用户页面等等。在这种情况下,建议对新发布的内容暂时返回403,待审核或做好处理后再返回正常返回码。
搬迁网站或更改域名时,请使用301返回码。