百度搜索指定网站内容(百度各个产品使用不同的user-agent藏（）)

　　百度搜索指定网站内容(百度各个产品使用不同的user-agent藏（）)

　　1. 什么是百度蜘蛛？

　　百度蜘蛛是百度搜索引擎的自动程序。它的功能是访问互联网上的网页，建立索引数据库，让用户可以在百度搜索引擎中搜索到客户网站上的网页。

　　2. 百度蜘蛛的用户代理是什么？

　　百度产品使用不同的用户代理

　　网页搜索（）：百度蜘蛛

　　无线搜索（）：百度蜘蛛

　　图片搜索()：Baiduspider-image

　　视频搜索()：Baiduspider-video

　　新闻搜索()：百度蜘蛛-新闻

　　百度合集()：Baiduspider-favo

　　百度联盟（/）：Baiduspider-cpro

　　商业搜索（）：Baiduspider-ads

　　3. 百度蜘蛛对Web服务器的访问压力如何？

　　为了对目标资源取得更好的检索效果，百度蜘蛛需要对客户的网站保持一定的抓取量。百度蜘蛛尽量不对客户的网站施加不合理的负担，会根据服务器容量、网站质量、网站更新等综合因素进行调整。

　　4.为什么Baiduspider一直在爬某个网站？

　　百度蜘蛛将继续抓取网站上的新页面或不断更新的页面。此外，站长还可以在网站访问日志中查看百度蜘蛛的访问是否正常，防止有人恶意冒充百度蜘蛛频繁爬取网站。

　　5. 如何判断是否冒充百度蜘蛛爬取？

　　建议站长使用域名系统（DNS）反向检查的方法来判断爬取源的IP是否属于百度。验证方式因平台而异，如Linux/Microsoft Windows/Apple Mac OS 三个平台下的验证。方法如下：

　　在Linux平台下，可以使用host ip命令破译ip来判断是否来自百度蜘蛛。百度蜘蛛的主机名以*格式命名。或 *.baidu.jp。如果不是 *. 或者*.baidu.jp，都是冒充的。

　　$主机123.125.66.120

　　120.66.125.123.in-addr.arpa域名指针

　　.

　　主机 119.63.195.254

　　254.195.63.119.in-addr.arpa域名指针

　　百度Mobaider-119-63-195-254.crawl.baidu.jp。

　　在Windows平台或IBM OS/2平台下，可以使用nslookup ip命令破译ip来判断是否来自百度蜘蛛。打开命令处理器，输入nslookup xxx.xxx.xxx.xxx（IP地址）解析ip判断是否来自百度蜘蛛。百度蜘蛛的主机名以*格式命名。或 *.baidu.jp，而不是 *. 或者*.baidu.jp是冒充的。

　　Mac OS平台下，可以使用dig命令破译ip来判断是否来自百度蜘蛛。打开命令处理器，输入dig xxx.xxx.xxx.xxx（IP地址）解析ip判断是否来自百度蜘蛛。百度蜘蛛的主机名以*格式命名。或 *.baidu.jp，而不是 *. 或者*.baidu.jp是冒充的。

　　6. 站长不想自己的网站被百度蜘蛛访问怎么办？

　　百度蜘蛛符合互联网机器人协议。百度站长可以使用robots.txt文件完全禁止百度蜘蛛访问网站，或者禁止百度蜘蛛访问网站上的某些文件。注：禁止百度蜘蛛访问本网站将使百度搜索引擎及百度提供搜索引擎服务的所有搜索引擎无法访问本网站页面。

　　7. 为什么某个网站添加了robots.txt，百度上还可以搜索到？

　　因为更新百度搜索引擎的索引库需要时间。虽然百度蜘蛛已经停止访问网站上的网页，但清除百度搜索引擎数据库中已建立网页的索引信息可能需要几个月的时间。另外请检查robots配置是否正确。

　　8. 如果站长希望网站内容被百度收录但不保存快照怎么办？

　　百度蜘蛛符合互联网元机器人协议。站长可以使用网页元设置，让百度只显示网页的索引，而不会在搜索结果中显示网页的快照。和robots的更新一样，因为百度搜索引擎索引库需要时间更新，虽然百度已经被禁止通过网页中的meta在搜索结果中显示网页快照，如果百度搜索引擎数据库已经建立网页索引 信息在线生效可能需要一段时间。

　　9. 百度蜘蛛爬行造成的带宽拥塞？

　　百度蜘蛛的正常抓取不会造成网站带宽被阻塞。这种现象可能是有人冒充百度蜘蛛恶意抓取造成的。如果站长发现有名为Baiduspider的代理爬行导致带宽拥塞，请第一时间联系百度。