网站内容抓取( spider优先更新大部分用户所需要内容的原则(图))

　　网站内容抓取(

spider优先更新大部分用户所需要内容的原则(图))

　　蜘蛛在本地抓取网页，网页被分析索引并参与排名，并不意味着蜘蛛在网页上的工作就结束了。如今，互联网网页的内容大多是动态的，有时网页甚至会被管理员删除。搜索引擎爬取的本地页面可以看作是已经爬取并被索引的网页的镜像，也就是说，理论上搜索引擎应该保证本地“镜像”页面和对应的网页在互联网内容是实时一致的。但是，由于搜索引擎蜘蛛资源有限，现阶段不可能也没有必要实时监控所有被索引网页的所有变化。搜索引擎只需要设置蜘蛛重新抓取和更新页面的策略，保证当一些页面呈现给用户时，搜索引擎的本地索引和当时页面的内容没有太大差别。有些页面应该收录大部分网民需要检索的内容，也能满足绝大多数搜索用户的搜索请求。

　　如前所述，在资源有限的情况下，搜索引擎首先要保证部分网页的索引是更新的，而这部分网页有大部分用户需要的内容：还要保证所有的索引页有更新机制。当对应的新内容被索引时，蜘蛛会再次爬取并更新网页的索引。从蜘蛛的角度来看，被索引网页的重新抓取频率一般是根据以下四个方面来确定的：用户体验、历史更新频率、网页类型、网页权重。

　　1.用户体验

　　整个互联网的网页数量巨大，被百度爬取和索引的中文网页应该在上千亿，但用户需要的信息只是很小的一部分。当用户在搜索引擎上进行查询时，无论返回多少结果，大多数用户会在前三页找到他们需要的信息，而很少有用户会浏览第四个或之后的搜索结果。本着优先更新大部分用户需要的内容的原则，所有用户提交的查询结果的前几页都值得保证立即更新索引。因此，一般的搜索引擎会采集所有用户的搜索请求，然后统计用户在所有搜索结果中可能看到的网页，然后再优先抓取更新。

　　2.历史更新频率

　　搜索引擎会尝试查找某个网页中内容的更新频率，因为蜘蛛的重爬是为了找出被索引的网页是否发生了变化。如果网页继续保持不变，搜索引擎可能会降低其抓取速度。频率，它甚至不再被重新抓取。这个策略的执行是基于搜索引擎发现的网页的更新频率，所以理论上，当蜘蛛找到一个新的 url 进行爬取和索引时，它会很快地进行第二次爬取。如果没有发现内容变化，则降低爬取频率，从而慢慢发现网页的更新频率调整到最佳爬取频率。同时，蜘蛛关注的变化应该是网页的主要内容，

　　3.页面类型

　　不同的网页有不同的更新频率。网站 主页、目录页、特殊页和文章 页面在同一站点内的更新频率肯定是不同的。因此，对于同一站点内的网页，蜘蛛以不同的频率抓取不同类型的网页。首页和目录页是蜘蛛经常访问的页面：根据专题页面的时效性或其他特性，蜘蛛可能会在一定时间内频繁爬取，时效到期后会降低爬取频率；文章 页面，蜘蛛很可能在第一次访问后就不会再来了。虽然整个互联网的网页很多，但网页的种类并不多。每种类型的网页都会有自己的布局和更新规则。搜索引擎有足够的能力发现网页的类型并设置合理的重新抓取频率。这也有利于蜘蛛对网页更新频率的判断。

　　4.网重

　　除了上述的重新爬取策略外，页面权重也是决定爬取频率的重要因素。用户体验策略也在一定程度上体现了网页权重的影响。在同类型网页、历史更新频率相近的情况下，一定是权重高的页面被爬取的频率更高。比如百度首页、hao123首页、chinaz站长工具首页和普通企业网站首页可以简单归类为网站首页，前三个“首页”长期不更新，普通企业网站主页可能偶尔会有更新，但前三个“主页”的百度快照一般都是最新的，而普通企业网站的首页快照可能是一周甚至一个月前。这反映了页面权重在爬取频率中的作用。

　　在搜索引擎蜘蛛的实际作用中，它不会单独使用某种重爬策略，而是会综合参考网页的用户体验、更新频率、页面类型和页面权重，针对不同类型的页面，重点参考 更新内容体也不同。例如，如果列表页面只有一个新条目文章，则可能会被更新；文章页面的主要内容没有变化，主要内容周围的所有推荐链接、广告、内容都发生了变化，可能不是更新。

　　在SEO工作中，为了增加某个网站的爬取频率，我们一般着重增加页面的入链权重，力求提高页面的更新频率。事实上，在用户体验和页面类型方面还有很多工作要做。使用标题和描述来吸引点击，不仅可以提高排名，还可以间接增加页面被蜘蛛爬取的频率；同时，针对不同的定位关键词可以使用不同的页面类型（列表页面、特色页面、内容页面等），在设计页面内容和网站架构时要慎重考虑，在页面类型部分有很多工作。例如，许多网站 已经将整个站点做成了一个列表页面。整个网站没有普通的内容页面。在内容页面的主要内容下方或周围还有大量与主题相关的文字内容，一般为分类列表。形式。但是这种方法长期使用效果不佳，或者在损害用户体验后会降低被爬取的频率。无论如何，好的网站架构设计应该利用蜘蛛爬行策略的各种特性。