百度以及其它搜索引擎的工作原理，如何有效的获取

　　百度以及其它搜索引擎的工作原理，如何有效的获取

　　至于百度等搜索引擎的工作原理，大家已经讨论了很多，但是随着技术的进步和互联网行业的发展，各种搜索引擎都发生了翻天覆地的变化，而且这些变化都是迅速的我们设计本章的目的，除了从官方的角度发出一些声音，纠正之前的一些误解，我们也希望通过内容的不断更新，跟上百度搜索引擎的发展，给大家带来最新与百度高度相关的信息。本章主要内容分为四章，分别是：爬取和建立数据库；搜索和排序；外部投票；结果显示。

　　Spider爬虫系统基本框架

　　互联网信息爆炸式增长，如何有效地获取和使用这些信息是搜索引擎工作的首要环节。数据采集​​系统作为整个搜索系统的上游，主要负责互联网信息的采集、保存和更新。它像蜘蛛一样在网络中爬行，所以通常被称为“蜘蛛”。比如我们常用的几种常见的搜索引擎蜘蛛，叫做Baiduspdier、Googlebot、搜狗网蜘蛛等。

　　蜘蛛抓取系统是搜索引擎数据来源的重要保障。如果把网理解为一个有向图，那么蜘蛛的工作过程可以看作是对这个有向图的一次遍历。从一些重要的*敏*感*词*网址开始，通过页面上的超链接，不断地发现和抓取新的网址，尽可能多地抓取有价值的网页。对于像百度这样的大型蜘蛛系统，由于随时都有网页被修改、删除或出现新的超链接的可能，所以需要更新以前蜘蛛爬过的页面，维护一个网址库和页面库。

　　下图是蜘蛛抓取系统的基本框架，包括链接存储系统、链接选择系统、dns解析服务系统、抓取调度系统、网页分析系统、链接提取系统、链接分析系统、网页存储系统。百度蜘蛛通过本系统的配合完成了对网页的抓取。

　　HTTP://www.511yj.com/pagephoto/seo/20151221/099601376296234.JPG

　　百度蜘蛛的主要爬取策略类型

　　上图看似简单，但Baiduspider在爬取过程中实际上面临着一个超级复杂的网络环境，为了让系统能够抓取尽可能多的有价值的资源，同时维护系统和实际环境页面时间，网站体验的一致性不会造成压力，会设计各种复杂的爬取策略。下面简单介绍一下：

　　1、Grab 友好

　　互联网资源是一个巨大的数量级，这就要求抓取系统尽可能高效地使用带宽，在有限的硬件和带宽资源下抓取尽可能多的有价值的资源。这会导致另一个问题。捕获的网站带宽被消耗，造成访问压力。如果度数过大，会直接影响抓到的网站的正常用户访问行为。因此，在爬取过程中，必须控制一定的爬取压力，以达到不影响网站正常用户访问，尽可能多的抓取有价值资源的目的。

　　通常，最基本的是基于ip的压力控制。这是因为如果是基于一个域名，可能会出现一个域名对应多个ip（很多大网站）或者多个域对应同一个ip（小网站share ip）的问题。在实际中，压力部署控制往往是根据ip和域名的各种情况进行的。同时，站长平台也推出了压力反馈工具。站长可以手动调整他的网站的抓取压力。此时百度蜘蛛会根据站长的要求，优先进行抓取压力控制。

　　对同一个站点的抓取速度控制一般分为两类：一类是一段时间内的抓取频率；二是一段时间内的爬取流量。同一个站点的爬取速度在不同的时间会有所不同。例如，在夜晚安静、月亮暗、风大的时候，爬行速度可能会更快。它还取决于特定的站点类型。主要思想是错开正常用户访问的高峰期，不断调整。对于不同的网站，也需要不同的抓取速度。

　　2、常用的抓取返回码指示

　　简单介绍一下百度支持的几种返回码：

　　1） 最常见的 404 代表“未找到”。认为该网页无效，通常会从库中删除。同时，如果蜘蛛在短期内再次找到这个url，则不会被抓取；

　　2）503 代表“服务不可用”。认为该网页暂时无法访问。通常网站暂时关闭，带宽有限。对于返回503状态码的网页，百度蜘蛛不会直接删除网址，会在短时间内多次访问。如果网页已经恢复，则可以正常抓取；如果继续返回503，URL仍然会被认为是断开的链接并从库中删除。

　　3）403 代表“Forbidden”，认为该网页当前被禁止。如果是新的url，蜘蛛暂时不会被抓取，短时间内会被多次访问；如果是收录url，则不会直接删除，短时间内会被多次访问。如果网页访问正常，就会正常抓取；如果仍然被禁止访问，那么这个 url 也将被视为无效链接并从库中删除。

　　4）301 代表“永久移动”，认为网页被重定向到新的 url。在网站迁移、域名更换、网站改版等情况下，建议使用301返回码和站长平台网站改版工具，减少改版造成的网站流量损失。

　　3、多URL重定向的识别

　　由于各种原因，Internet 上的某些网页具有 URL 重定向状态。为了正常抓取这些资源，需要蜘蛛识别和判断URL重定向，防止作弊。重定向可以分为三类：http 30x 重定向、元刷新重定向和js 重定向。另外，百度还支持Canonical标签，可以看作是间接重定向的效果。

　　4、Grab 优先级分配

　　由于互联网资源规模的巨大而快速的变化，搜索引擎几乎不可能全部捕获并合理更新以保持一致性。这就需要爬虫系统设计一套合理的抓包。采取优先部署策略。主要包括：深度优先遍历策略、广度优先遍历策略、pr-first策略、反链策略、社交分享引导策略等，每种策略各有优缺点。在实际情况下，往往会采用多种策略组合使用，以达到最佳捕获效果。

　　5、重复网址过滤

　　爬虫在爬取过程中需要判断一个页面是否被爬过。如果还没有被爬取，那么它会爬取该网页并将其放入已爬取的URL集合中。判断是否被抓取。其中最重要的就是快速搜索和比对，还涉及到url归一化识别。例如，一个url收录大量无效参数，但实际上是同一个页面，将被视为同一个url。 .

　　6、Darknet 数据采集

　　互联网上存在大量搜索引擎暂时无法抓取的数据，称为暗网数据。一方面，网站的大量数据存在于网络数据库中，蜘蛛很难通过抓取网页获取完整的内容；另一方面，由于网络环境的原因，网站本身不符合规范，以及孤岛等，也会导致搜索引擎无法抓取。目前暗网数据获取的主要思路还是采用通过开放平台提交数据的方式，如“百度站长平台”、“百度开放平台”等。

　　7、Grab 反作弊

　　蜘蛛在爬行过程中，经常会遇到所谓的爬行黑洞或者面对大量低质量的页面。这就要求爬虫系统也要设计一个完整的爬虫防作弊系统。例如，分析url特征，分析页面大小和内容，分析与抓取规模对应的站点大小等。

　　百度蜘蛛爬行频率调整方法及原理

　　百度蜘蛛根据上面网站设置的协议抓取站点页面，但不可能对所有站点一视同仁。它会综合考虑网站的实际情况，确定一个抓取额度，每天对网站内容进行定量抓取，也就是我们经常提到的抓取频率。那么百度搜索引擎用什么索引来判断一个网站的爬取频率呢？主要有四个指标：

　　1、网站更新频率：更新来得快，更新来得慢，直接影响百度蜘蛛的访问频率

　　2、网站更新质量：更新频率增加，只引起了百度蜘蛛的关注。百度蜘蛛对质量有严格的要求。如果网站每天更新大量内容，百度蜘蛛被判定为低质量页面仍然没有意义。

　　3.连通性：网站应该是安全稳定的，对百度蜘蛛保持开放。经常留百度蜘蛛可不是什么好事。

　　4、网站评价：百度搜索引擎对每个网站都会有一个评价，这个评价会根据网站情况不断变化，是百度搜索引擎对网站的基本评分（不是百度权重）到外界），是百度内部非常机密的数据。网站评分从不单独使用，会与其他因素和阈值共同影响网站的爬取和排名。

　　爬取的频率间接决定了收录可以建多少页网站。如果这样一个重要的值不符合站长的期望，如何调整？百度站长平台提供了爬频工具()，并已完成多次升级。该工具除了提供爬行统计外，还提供了“频率调整”功能。站长可根据实际情况要求百度蜘蛛增加或减少对百度站长平台的访问量。该工具将根据网站管理员的意愿和实际情况进行操作。调整。