网站内容更新机制( 搜索引擎蜘蛛抓取策略有四种：大站优先，宽度优先)

　　网站内容更新机制(

搜索引擎蜘蛛抓取策略有四种：大站优先，宽度优先)

　　搜索引擎蜘蛛的爬取策略有四种：大站点优先、广度优先、不完整pr优先、ocip优先（在线页面重要性计算）

　　一开始，我觉得今日头条搜索之外的爬取应该是一个大站策略。后来和朋友聊天，发现他们最近才在一些大站被抓到。这个想法被否决了。

　　既然大站优先策略不是，剩下的非完全pr优先，ocip也不是。只剩下广度优先策略了。

　　宽度优先策略，全网爬取第1个网页，如果有第2个和第3个的链接，就爬取全网第2个和第3个的内容，依此类推，所以会有一些大的。该站最近才上头条的原因。

　　显示快照日期是否类似百度原则：观察暂时没有。整个网络更新时间为起点，不断累积。

　　最近观察了几个页面，页面的详细内容以文章的发布为全网更新时间的起点，不断积累。例如，2019年6月20日发布时，快照显示为1天前的今天，以此类推，不断增加。

　　研究成果总结：

　　今日头条收录 异地机制：全网爬取【Mr. 顾：是全网爬取机制，但目前在一些网站上测试，还没有完全实现]

　　百度快照的原理是站点有新的内容更新，理论上快照会相应更新。

　　主页观察从网站外爬取之日算起，从网站上更新内容的最晚日期算起。完善的时候可能和百度快照更新规则一样。

　　可见收录与百度的结果无关。关于收录的机制，网络上到处都是蜘蛛爬行。由于收录的入口还没有提交，我们需要在我们的网站中引入今日头条的蜘蛛，并且需要在已经进入的网站上建立一个外部链接今日头条 收录 . 当谷歌判断一个网站的权重时，大部分原因是靠外部链接的质量来判断。所以今天的今日头条，作为一个新成立的搜索引擎，没有足够大的数据支撑，外链肯定是一个重要的因素。

　　本文来自网络，仅供学习！

　　喜欢 (28）