搜索引擎如何抓取网页(搜索引擎抓取页面的方式！（一）--*敏*感*词*)

　　搜索引擎如何抓取网页(搜索引擎抓取页面的方式！（一）--*敏*感*词*)

　　搜索引擎如何抓取网页？本文由*敏*感*词*负责人编辑。转载请保留此链接！做seo是为了取悦搜索引擎，所以一定要了解搜索引擎是如何爬取页面的！搜索引擎不可能一次性抓取网站中的所有页面，并且网站中的页面数会不断变化，内容也在不断更新。因此，搜索引擎还需要对抓取的页面进行维护和更新，以便及时获取页面的最新信息，抓取更多的新页面。常见的页面维护方式有：定期爬取、增量爬取、分类定位爬取。定期爬行 定期爬行也称为定期爬行，即搜索引擎定期更新网站中收录的页面。更新时，将原来的旧页面替换为获取的新页面，删除不存在的页面，存储新发现的页面。定期更新是针对所有已经收录的页面，所以更新周期会比较长。例如，Google 通常需要 30 到 60 天的时间来更新已经收录 的页面。周期性爬取算法的实现比较简单。由于每次更新都涉及到网站中所有已经成为收录的页面，所以页面权重的重新分配也是同时进行的。这种方式适用于维护页面相对较少、内容更新较慢的网站，比如普通企业网站。不过因为更新周期很长，这导致在更新过程中无法及时向用户反映页面的变化。例如，某个页面的内容更新后，至少需要30到60天才能反映在搜索引擎上。

　　增量爬取增量爬取是通过对已经爬取的页面进行定时监控来实现页面的更新和维护。但是，定期监控网站中的每个页面是不现实的。基于重要页面承载重要内容的思想和80/20规则，搜索引擎只需要定期监控网站中的一些重要页面，即可获取网站中相对重要的信息。所以增量爬取只针对网站中的一些重要页面，并不是所有已经收录的页面，这也是为什么搜索引擎对重要页面的更新周期会更短的原因。例如，搜索引擎经常更新内容频繁更新的页面，以便及时发现新内容和新链接，删除不存在的信息。由于增量抓取是在原创页面的基础上进行的，因此会大大减少搜索引擎的抓取时间，同时也可以及时向用户展示页面上的最新内容。分类定位爬取和增量爬取是由页面的重要性决定的。分类定位爬取是指根据页面的类别或性质设置相应的更新周期的页面监控方式。例如，对于“新闻”和“资源下载”两种页面，新闻页面的更新周期可以精确到每分钟，下载页面的更新周期可以设置为一天或更长。分类和位置抓取将不同类型的页面分开，可以节省大量的抓取时间，

　　但是根据类别制定页面更新周期的方式比较笼统，难以跟踪页面的更新情况。因为即使是同一个分类的页面，不同网站上的内容更新周期也会有很大不同。例如，对于新闻页面，大型门户网站的内容更新速度会比其他小型网站快很多。因此，还需要结合其他方式（如增量爬取等）对页面进行监控和更新。实际上，搜索引擎是通过多种方式对网站中的页面进行维护，相当于间接为每个页面选择了最合适的维护方式。这样不仅可以减轻搜索引擎的负担，同时也为用户提供及时的信息。比如在一个网站中，会有各种不同性质的页面，包括首页、论坛页面、内容页面等，对于更新频繁的页面（比如首页），可以使用增量爬取监控，让网站中相对重要的页面及时更新；对于实时性非常高的论坛页面，可以采用分类定位的爬取方式；并且为了防止网站中的部分页面遗漏，还需要采用定时爬取的方法。可以使用增量爬虫对其进行监控，以便网站中相对重要的页面能够及时更新；对于实时性非常高的论坛页面，可以采用分类定位的爬取方式；并且为了防止网站中的部分页面遗漏，还需要采用定时爬取的方法。可以使用增量爬虫对其进行监控，以便网站中相对重要的页面能够及时更新；对于实时性非常高的论坛页面，可以采用分类定位的爬取方式；并且为了防止网站中的部分页面遗漏，还需要采用定时爬取的方法。