搜索引擎如何抓取网页( 搜索引擎更新策略的任务是决定何时重新抓取下载过的)

　　搜索引擎如何抓取网页(

搜索引擎更新策略的任务是决定何时重新抓取下载过的)

　　搜索引擎多久更新一次抓取的页面

　　搜索引擎更新策略的任务是决定何时重新抓取之前下载的网页，使本地下载的网页尽可能与互联网上的原创网页保持一致。常见的网页更新策略：

　　1、历史参考攻略

　　该策略基于这样的假设，即过去经常更新的网页将来也会经常更新。所以为了估计多久更新一次，可以参考上一个网页的更新频率。

　　2、用户体验策略

　　该策略以用户体验为核心。即使本地索引页面的内容已经过时，如果不影响用户体验，那么后期更新也不是不可能。所以什么时候更新一个网页比较好，要看网页内容变化带来的搜索质量的变化（通常以搜索结果排名的变化来衡量）。影响越大，更新越快。

　　3、整群抽样调查

　　与前两种策略相比，判断是基于历史记录。如果是新站，根据历史数据是无法区分的。集群抽样是一个没有历史数据的很好的解决方案。如何实现？

　　首先，根据页面的特点，将其聚类为不同的类别。每个类别都有相似的更新周期。从类别中抽取一部分代表性页面计算更新周期，那么这个周期也适用于类别中的其他页面，然后可以根据类别确定更新频率。

　　聚类抽样策略的效果比前两者要好，但对亿万网页进行聚类也非常困难。（ps：内容摘自《这是搜索引擎核心技术详解》）

　　说了以上原则，作为一个seo，你可以做一些调整，让搜索引擎更快地更新我们网页的数据。

　　除了保持更新频率，页面的一些调整（改变栏目的创建等）和网站用户体验的提升，都是为了加快搜索引擎收录页面的更新。