百度搜索引擎蜘蛛无法解析您的网站和主机的防火墙

百度搜索引擎蜘蛛无法解析您的网站和主机的防火墙

　　部分网页内容优质，用户可以正常访问，但搜索引擎蜘蛛无法正常访问和抓取，导致搜索结果覆盖不足，对搜索引擎和网站来说是一种损失。百度把这种情况称为“抓取异常”。对于大量内容无法正常抓取的网站，百度搜索引擎会认为网站在用户体验上存在缺陷，会降低对网站的评价，并在一定程度上受到负面影响抓取、索引和排序。影响最终会影响网站从百度获得的流量。

　　服务器连接异常

　　服务器连接异常有两种情况：一种是站点不稳定，搜索引擎蜘蛛尝试连接你的网站服务器时暂时无法连接；另一个是搜索引擎蜘蛛无法连接到你网站的服务器。

　　服务器连接不正常的原因通常是你的网站server 太大，过载。也可能是你的网站运行不正常。请检查网站的web服务器（如apache、iis）是否安装运行正常，并使用浏览器查看主页是否可以正常访问。您的网站 和主机也可能会阻止搜索引擎蜘蛛的访问。您需要检查网站和主机的防火墙。

　　网络运营商例外

　　有两种类型的网络运营商：电信和中国联通。搜索引擎蜘蛛无法通过电信或网通访问您的网站。如果出现这种情况，您需要联系网络服务运营商，或者购买双线服务的空间或购买CDN服务。

　　DNS 异常

　　当搜索引擎蜘蛛无法解析你的网站IP时，就会出现DNS异常。可能是你的网站IP地址错误，或者域名服务商屏蔽了搜索引擎蜘蛛。请使用 WHOIS 或主机检查您的网站IP 地址是否正确且可解析。如果不正确或无法解决，请联系域名注册商更新您的IP地址。

　　IP 封禁

　　IP禁令是：限制网络的出口IP地址，禁止该IP段的用户访问内容，这里特指禁止搜索引擎蜘蛛IP。仅当您的网站 不希望搜索引擎蜘蛛访问时才需要此设置。如果您想让搜索引擎蜘蛛访问您的网站，请检查相关设置中是否错误添加了搜索引擎蜘蛛IP。也有可能你网站所在的空间服务商被封禁了百度IP，则需要联系服务商更改设置。

　　UA 被禁止

　　UA是User-Agent，服务器通过UA识别访问者的身份。当网站为特定的UA访问返回异常页面（如403、500）或跳转到另一个页面）时，即被UA禁止。只有当你的网站不希望搜索引擎蜘蛛访问时才需要这个设置。如果想让搜索引擎蜘蛛访问你的网站，在useragent相关设置中是否有搜索引擎蜘蛛UA，及时修改。

　　死链接

　　页面无效，无法向用户提供任何有价值信息的页面为死链接，包括协议死链接和内容死链接两种形式。

　　协议死链接

　　页面的TCP协议状态/HTTP协议状态明确指出死链接，如404、403、503状态等。

　　内容死链接：服务器返回状态是正常的，但是内容已经变成不存在、删除或者需要权限信息的页面，与原内容无关。

　　对于死链接，我们建议网站使用协议死链接，通过百度站长平台-死链接工具提交给百度，这样百度可以更快的找到死链接，减少死链接对用户和搜索的负面影响引擎。影响。

　　异常跳转

　　将网络请求重定向到另一个位置是一种跳转。异常跳转是指以下几种情况：

　　1）当前页面为无效页面（内容已删除、死链接等），直接跳转到上一目录或首页，百度建议站长删除无效页面的入口超链接

　　2）跳转到错误或无效页面

　　注意：长期重定向到其他域名，如网站改域名，百度建议使用301重定向协议进行设置。

　　其他例外：

　　1）百度引用异常：从百度返回引用的网页行为与正常内容不同。

　　2）Anomaly for 百度UA：返回百度UA的网页行为与页面原创内容不同。

　　3）JS跳转异常：网页加载了百度无法识别的JS跳转代码，导致用户通过搜索结果进入页面后跳转。

　　4）压力过大意外封号：百度会根据网站规模、流量等信息自动设置合理的爬取压力。但是，在异常情况下，例如压力控制异常，服务器会根据自身的负载偶尔被禁止进行保护。在这种情况下，请在返回码中返回503（其含义为“服务不可用”），以便搜索引擎蜘蛛过一段时间尝试抓取此链接，如果网站空闲，则抓取成功。