seo优化搜索引擎工作原理(百度以及其它搜索引擎的基本工作原理包括如下四个的过程)

　　seo优化搜索引擎工作原理(百度以及其它搜索引擎的基本工作原理包括如下四个的过程)

　　随着科技的进步和互联网行业的发展，各种搜索引擎都发生了翻天覆地的变化。百度等搜索引擎的基本工作原理包括以下四个过程：首先，在互联网上发现和采集网页信息；同时，将爬取的信息存储在临时数据库中进行处理；提取和组织索引数据库；根据用户输入的查询关键字，在索引数据库中快速检测文档，评估文档与查询的相关性，对要输出的结果进行排序，将查询结果返回给用户。

　　搜索引擎如何工作

　　1、 爬网。每个独立的搜索引擎都有自己的网络爬虫蜘蛛。爬虫Spider跟随网页中的超链接，从这个网站爬到另一个网站，通过超链接分析不断访问和爬取更多的网页。抓取的网页称为网页快照。由于超链接在互联网上的应用非常普遍，理论上，大部分网页都可以从一定范围的网页中采集。

　　2、过滤网页。搜索引擎将抓取到的网页存储在一个临时库中，用于过滤垃圾页面，包括删除重复内容的页面、主要内容为空且短的页面、加载速度过慢的页面、一些作弊页面以及无法解析的技术。百度蜘蛛。，如JS，AJAX等，分词（中文），判断网页类型，分析超链接，计算网页的重要性/丰富度等。

　　2、创建一个索引区。符合规则的网页将被提取关键词，编入索引。包括时效性和有价值的页面、具有高质量内容的页面、高价值的原创内容页面和其他对用户有价值的页面。然后排序，归档，排序。

　　3、提供检索服务。用户输入关键词进行检索，搜索引擎从索引库中找到与关键词匹配的网页；为方便用户，除网页标题和网址外，还将提供网页摘要等信息。

　　蜘蛛爬行系统的基本框架

　　随着互联网信息的爆炸式增长，如何有效地获取和利用这些信息是搜索引擎工作的首要环节。数据爬取系统作为整个搜索系统的上游，主要负责互联网信息的采集、保存和更新。它像蜘蛛一样在网络中爬行，因此通常被称为“蜘蛛”。比如我们常用的几种常见的搜索引擎蜘蛛叫做：Baiduspdier、Googlebot、搜狗网络蜘蛛等。

　　蜘蛛爬取系统是搜索引擎数据来源的重要保障。如果把网络理解为一个有向图，那么蜘蛛的工作过程可以认为是对这个有向图的遍历。从一些重要的*敏*感*词*URL开始，通过页面上的超链接关系，不断发现新的URL并进行爬取，尽可能多地爬取有价值的网页。对于百度这样的大型爬虫系统，由于随时都有网页被修改、删除或者新的超链接出现的可能，所以需要保持蜘蛛过去爬过的页面保持更新，维护一个URL库和Page图书馆。

　　下图是蜘蛛爬取系统的基本框架图，包括链接存储系统、链接选择系统、dns解析服务系统、爬取调度系统、网页分析系统、链接提取系统、链接分析系统、网页存储系统。百度蜘蛛通过本系统的配合完成对互联网页面的爬取。

　　百度蜘蛛主要爬取策略类型

　　上图看似简单，但实际上百度蜘蛛在爬取过程中面临着一个超级复杂的网络环境。为了让系统尽可能多的抢到有价值的资源，保持系统中页面与实际环境的一致性，同时不会给网站的体验带来压力，会设计一个各种复杂的抓取策略。这里有一个简单的介绍：

　　1. 抓取友好度

　　海量的互联网资源要求抓取系统在有限的硬件和带宽资源下，尽可能高效地利用带宽，尽可能多地抓取有价值的资源。这就产生了另一个问题，消耗了被逮捕的 网站 的带宽并造成访问压力。如果太大，将直接影响被捕网站的正常用户访问行为。因此，需要在爬取过程中控制爬取压力，以达到在不影响网站正常用户访问的情况下尽可能多地抓取有价值资源的目的。

　　通常，最基本的是基于 ip 的压力控制。这是因为如果是基于域名的话，可能会出现一个域名对应多个IP（很多大网站）或者多个域名对应同一个IP（小网站共享 IP）。在实践中，往往根据ip和域名的各种情况进行压力分配控制。同时，站长平台也推出了压力反馈工具。站长可以自己手动调节抓取压力网站。这时候百度蜘蛛会根据站长的要求优先控制抓取压力。

　　对同一个站点的爬取速度控制一般分为两类：一类是一段时间内的爬取频率；另一种是一段时间内的爬行流量。同一个站点在不同时间的爬取速度会有所不同。例如，在夜深人静、月黑风高的情况下，爬行可能会更快。它还取决于特定的站点类型。主要思想是错开正常的用户访问高峰并不断进行调整。不同的站点也需要不同的爬取率。

　　2. 常用爬取返回码

　　简单介绍一下百度支持的几个返回码：

　　3. 各种url重定向的标识

　　由于各种原因，互联网上的某些网页具有 url 重定向状态。为了正常抓取这些资源，需要蜘蛛识别和判断url重定向，同时防止作弊。重定向可以分为三类：http 30x 重定向、meta refresh 重定向、js 重定向。另外，百度还支持Canonical标签，在效果上可以认为是间接重定向。

　　4. 获取优先分配

　　由于互联网资源的巨*敏*感*词*和快速变化，搜索引擎几乎不可能全部抓取并保持合理更新的一致性。因此，这就需要爬取系统设计一套合理的爬取优先级。供应策略。主要包括：深度优先遍历策略、广度优先遍历策略、pr-first策略、反链策略、社交分享引导策略等。每种策略各有优缺点，在实际情况中，往往会出现多种策略配合使用，达到最佳的抓取效果。

　　5. 过滤重复的 url

　　在爬取过程中，蜘蛛需要判断一个页面是否被爬取过。如果还没有被爬取过，就会对网页进行爬取，放到被爬取的url集合中。判断是否被爬取的核心是快速查找对比，还涉及到url规范化识别。例如，一个url收录大量无效参数但实际上是同一个页面，将被视为同一个url。.

　　6. 获取暗网数据

　　互联网上有很多暂时无法被搜索引擎捕获的数据，称为暗网数据。一方面，大量网站的大量数据存在于网络数据库中，蜘蛛很难通过爬取网页获取完整的内容；以此类推，也会导致搜索引擎无法抓取。目前暗网数据获取的主要思路还是使用开放平台提交数据，如“百度站长平台”、“百度开放平台”等。

　　7. 抓取反作弊

　　爬虫在爬取过程中，经常会遇到所谓的爬虫黑洞或面临大量低质量页面，这就要求在爬虫系统中还应设计一套完整的爬虫防作弊系统。比如分析url特征，分析页面大小和内容，分析爬取规模对应的站点规模等等。

　　国内360搜索引擎排名原理及发展历程

　　互联网刚起步的时候，互联网上总会有一个搜索引擎，因为通过搜索引擎可以让互联网的发展更加迅速。国内搜索引擎比国外搜索引擎有更多的发展时间，但随着注册用户规模的不断扩大，...