搜索引擎蜘蛛抓取策略有四种：大站优先宽度优先

搜索引擎蜘蛛抓取策略有四种：大站优先宽度优先

　　搜索引擎蜘蛛的爬取策略有四种：大站点优先、广度优先、不完整pr优先、ocip优先（在线页面重要性计算）

　　一开始，我认为今日头条搜索之外的爬取应该是一个大站策略。后来和朋友聊天，发现他们最近才在一些大站被抓到。这个想法被拒绝了。

　　既然大站优先策略不是，剩下的非全pr优先，ocip也不是。只剩下广度优先策略了。

　　广度优先策略，网页1全网爬取，如果有2和3的链接，则2和3的内容全网爬取，依此类推，所以会出现一些大站最近才上头条。

　　显示的快照日期是否与百度原理相似：观察暂时没有。全网更新时间为起点，不断累积。

　　我最近观察了几个页面，页面的详细信息以文章发布全网更新的时间为起点，不断积累。例如，2019年6月20日发布时，快照显示为1天前的今天，以此类推，不断增加。

　　研究结果总结：

　　Headline收录off-site 机制：全网爬取【Mr.顾：是全网抓取机制，但目前在一些网站上测试，还没有完全实现]

　　百度快照的原则是网站有新的内容更新，理论上快照会相应更新。

　　首页观察次数应从被爬出网站之日算起，从网站上更新内容的最晚日期算起。完善后可能和百度快照更新规则一样。

　　可以看出收录与百度的结果无关。关于收录机制，就是说网络上到处都是蜘蛛爬行。由于收录的条目还未提交，我们需要将今日头条的蜘蛛引入我们的网站，并且我们需要在已经输入到今日​​头条收录的网站上建立一个外部链接。当谷歌判断网站的权重时，大部分的原因取决于外部链接的质量。所以今日头条作为一个新成立的搜索引擎，如果没有足够大的数据支撑，外链肯定是一个重要因素。

　　本文来自网络，仅供学习！

　　赞 (26）