网站内容抓取(什么是网站频次?当前抓取频次或者过小怎么办?)

　　网站内容抓取(什么是网站频次?当前抓取频次或者过小怎么办?)

　　百度站长平台是站长会经常联系的网站状态查询平台，网站的爬取频率也是需要注意的一点。看搜索引擎工作原理的时候，可能你已经听说过网站的爬取频率，那么网站的爬取频率是多少呢？当前爬取频率过大或过小怎么办？让我给你解释一下，希望对你有帮助。

　　一、什么是网站爬取率？

　　1、网站爬取频率是搜索引擎在单位时间（天）内爬取网站服务器的总次数。可能会导致服务器不稳定，百度蜘蛛会根据网站内容更新频率、服务器压力等因素自动调整爬取频率

　　2、百度蜘蛛会根据网站服务器的压力自动调整爬取频率

　　3、建议谨慎调整爬取频率上限。如果爬取频率太小，会影响百度蜘蛛的收录到网站

　　二、当前爬取频率过高怎么办？

　　您可以按照以下顺序排查和解决频率过高的问题：

　　1、如果您觉得百度蜘蛛抓取了您认为无价值的链接，请更新网站robots.txt阻止抓取，然后到robots工具页面生效。

　　2、如果百度蜘蛛的抓取影响了您网站的正常访问，请到抓取频次上限调整页面调低抓取频次上限。

　　3、如果以上方法都不能解决问题，请到百度站长平台反馈中心进行反馈。

　　三、当前爬取频率过低怎么办？

　　您可以按照以下顺序排查和解决低频问题：

　　1、如果您设置了抓取频次上限，建议您取消抓取频次上限设置或进入抓取频次上限调整页面增加抓取频次上限。

　　2、如果没有设置爬取频次上限，建议使用爬取异常工具检查是否是爬取异常的原因。

　　3、如果你还是觉得爬取量小，可能是你有新的链接没有提交。请到链接提交页面提交数据。

　　4、如果以上方法都不能解决问题，请到百度站长平台反馈中心进行反馈。