搜索引擎蜘蛛下载回来的网页怎么办？答案是什么

　　搜索引擎蜘蛛下载回来的网页怎么办？答案是什么

　　对于网站优化器，搜索引擎蜘蛛必须有一定的了解，因为在做网站优化时，需要研究搜索引擎蜘蛛的工作原理。搜索引擎的工作原理其实很简单。首先，搜索引擎大致分为4个部分。第一部分是蜘蛛爬虫，第二部分是数据分析系统，第三部分是索引系统，第四部分是查询系统。 ，当然，这些只是最基本的4个部分！下面天启小编告诉你搜索引擎的工作流程：

　　什么是搜索引擎蜘蛛，什么是爬虫程序？

　　搜索引擎蜘蛛程序实际上是搜索引擎的自动应用。它的功能是什么？其实很简单。就是浏览互联网上的信息，然后将所有信息抓取到搜索引擎的服务器上。然后建立索引库等等。我们可以把搜索引擎蜘蛛当成一个用户，然后这个用户访问我们的网站，然后把我们网站的内容保存在他的电脑上！更容易理解。

　　搜索引擎蜘蛛如何抓取网页？

　　找到某个链接→下载这个网页→添加到临时库→从网页中提取链接→下载网页→循环

　　首先，搜索引擎蜘蛛需要找到链接。至于怎么找，很简单，就是通过链接链接。搜索引擎蜘蛛找到链接后，会下载该网页并将其存储在临时库中。当然，同时它会提取到这个页面的所有链接，然后就是一个循环。搜索引擎蜘蛛几乎24小时不停，那么蜘蛛下载的网页呢？这就需要第二个系统，即搜索引擎的分析系统。

　　搜索引擎蜘蛛是否定期抓取网页？

　　答案是肯定的！如果蜘蛛不分青红皂白地爬取网页，那会费一番功夫。互联网上每天都有很多网页。蜘蛛怎么能爬过去？所以，蜘蛛抓取网页。也是有规律的。

　　蜘蛛爬取网页策略一：深度优先

　　简单来说，搜索引擎蜘蛛在一个页面上找到一个链接，然后向下爬这个链接，然后在下一页找到另一个链接，然后再次向下爬，然后全部爬取，这就是深度优先的爬取策略.

　　蜘蛛爬取网页策略2：宽度优先

　　广度优先更容易理解，即搜索引擎蜘蛛先抓取整个页面的所有链接，然后再抓取下一页的所有链接。

　　蜘蛛爬取网页策略3：权重优先

　　如果说宽度优先比深度优先好，那也不是绝对的。只能说各有千秋。现在搜索引擎蜘蛛一般会同时使用两种爬取策略，即深度优先+广度优先。而在使用这两种策略进行捕获时，应该参考这个连接的权重。如果这个连接的权重好，则优先使用深度，如果这个连接的权重很低，则优先使用宽度。

　　那么搜索引擎蜘蛛是如何知道这个链接的权重的呢？

　　这里有两个因素：1、的等级多，少； 2、此连接的外部链接数量和质量。

　　蜘蛛爬取网页策略4：重温爬取

　　比如昨天搜索引擎蜘蛛来抓取我们的网页，今天我们给这个页面添加了新的内容，那么今天搜索引擎蜘蛛来抓取新的内容，这就是重访抓取Fetch！ Revisit fetching也分为两种，如下：

　　1、Revisit all

　　所谓revisit all，是指蜘蛛上次爬取的链接，然后在一个月的某一天，所有的链接都会被重新访问，再次爬取。

　　2、single revisit

　　单次重访通常针对更新频率相对较快且稳定的页面。如果我们有一个页面，它不会一个月更新一次。然后搜索引擎蜘蛛第一天就这样来了，第二天你也是这样。那么第三天搜索引擎蜘蛛就不会来了。他们会每隔一次来一次，比如每 1 个月一次。一次，或者当所有这些都被重新访问时更新一次。

　　今天给大家分享一下搜索引擎蜘蛛的工作原理。对于搜索引擎来说，爬取互联网上的所有页面几乎是不可能的。部分原因是技术问题，100亿网页的容量。它是 100*2000G 字节。从多台机器上下载这么多数据下载所有网页需要很长时间，而且数据量太大，搜索效率也会受到影响。