一个小规模团队，如何做一个搜索引擎？问题很明了

　　一个小规模团队，如何做一个搜索引擎？问题很明了

　　如何为小团队构建搜索引擎？

　　问题很清楚，怎么做搜索引擎

　　我来回答

　　首先，一个完整的互联网通用搜索引擎在逻辑上由四部分组成。根据图1分为数据采集、数据处理、数据索引、数据服务。

　　Data采集 模块俗称网络爬虫或网络蜘蛛。虽然名字很形象，但从实用的角度来看，计算机程序的处理与昆虫的自发行为有很大的不同。数据采集模块需要能够正确获取网站网页，它的行为更像是我们在浏览器中输入网址后不断点击网页链接。因此，说数据采集模块模拟网页浏览器，也模拟人的网页点击行为更为贴切。

　　从广义上看，数据采集模块应该有两个基本功能：

　　1：获取网页地址（URL）对应的网页文件。

　　2：解析出网页文件中的链接地址和网页的有效文本。

　　数据处理模块是搜索引擎的核心功能。负责处理数据采集module采集的有效信息文本，使我们人类能够理解的文本信息按照设定的规则被计算机理解。

　　对于一级搜索引擎，需要对文本进行拆解和分类。如果是中文的话，在反汇编的时候也需要把中文分段。之后，将分析结果发送到索引模块，对索引模块进行进一步处理后输入到搜索引擎的数据库中。如果你想实现一个更智能的高级搜索引擎，在上述步骤的基础上，你还必须能够实现语义理解，这样当用户搜索“星期几”时，搜索引擎应该给出收录“明天是星期六”的消息。 “或“明天是星期一”......

　　像这样的结果，不仅仅是收录5个关键词“明天是哪一天”的网页结果的集合。数据索引模块是搜索引擎的另一个核心，它与数据处理模块的关系就像人的心肺，两者缺一不可。该模块的主要功能是将数据处理模块的处理结果保存在标准化的数据结构中。这样做的目的是为后续的数据服务模块提供便利，使数据服务模块可以在很短的时间内完成对齐。整个互联网数据的信息检索。数据服务模块是搜索引擎对外提供服务的接口。

　　必须能够及时响应外部输入，联系数据索引模块检索用户搜索内容的网页结果。在很多情况下，为了有效地提供用户行为的反馈，搜索引擎通常会在这个模块中实现一些预测或缓存算法。不要强迫每个用户的查询都执行一个完整的数据搜索过程。从上面对4个模块的描述可以看出，搜索引擎和图书馆的图书检索系统没有太大区别，而且搜索引擎的模块链是单向的、唯一的，没有必要对于多个模块。数据交互，或者说数据交互是双向的。单就这一点而言，搜索引擎在逻辑上还是比较简单的。相信只要读者能坚持下来，最终实现一个实用的搜索引擎应用是没有问题的。

　　按工作方式分为哪两种搜索引擎？

　　搜索引擎按其工作方式可分为三种主要类型，即全文搜索引擎、搜索索引/目录和元搜索引擎。

　　你说的两种类型都没有收录目录索引，因为目录索引虽然有搜索功能，但严格意义上并不是真正的搜索引擎，只是一个目录列表。用户完全不需要搜索关键词（关键词），只需要依靠分类目录就可以找到自己需要的信息。从这个角度来说，搜索引擎按照工作方式分为全文搜索引擎和元搜索引擎。

　　搜索引擎是如何工作的？

　　搜索引擎的主要工作流程包括：抓取、存储、页面分析、索引、检索等主要流程。也就是说，爬取、过滤、收录、排序这四个过程是经常提到的。下面详细解释每个过程及其影响

　　一、搜索引擎抓取

　　蜘蛛抓取系统是搜索引擎数据来源的重要保障。如果把网理解为一个有向图，那么蜘蛛的工作过程可以看作是对这个有向图的一次遍历。从一些重要的*敏*感*词*网址开始，通过页面上的超链接，不断发现和抓取新的网址，尽可能多的抓取有价值的网页。

　　解读搜索引擎的工作原理

　　影响抓取的因素

　　1、Grab 友好

　　互联网资源是一个巨大的数量级，这就要求抓取系统尽可能高效地利用带宽，在有限的硬件和带宽资源下抓取尽可能多的有价值的资源。

　　2、使用抓取返回码表示

　　简单介绍一下百度支持的几种返回码：

　　1） 最常见的 404 代表“未找到”。认为该网页已过期，通常会从库中删除。同时，如果蜘蛛在短期内再次找到这个url，则不会被抓取；

　　2）503 代表“服务不可用”。认为该网页暂时无法访问。通常网站暂时关闭，带宽有限。

　　3）403 代表“Forbidden”，认为该网页当前被禁止。如果是新的URL，蜘蛛暂时不会抓取，短时间内会被多次访问；如果是收录url，不会直接删除，短时间内会被多次访问。如果网页访问正常，就会正常抓取；如果仍然被禁止访问，那么这个 url 也将被视为无效链接并从库中删除。

　　4）301 代表“永久移动”，认为网页被重定向到新的 url。遇到网站迁移、域名更换、网站改版时，建议使用301返回码，并使用站长平台网站改版工具，减少改版带来的网站流量损失。

　　3、优先部署

　　由于互联网资源规模的巨大而快速的变化，搜索引擎几乎不可能全部捕获并合理更新以保持一致性。这就需要爬虫系统设计一套合理的抓包。采取优先部署策略。主要包括：深度优先遍历策略、广度优先遍历策略、pr-first策略、反链策略、社交分享引导策略等。

　　4、take 反作弊

　　蜘蛛在爬取过程中，经常会遇到所谓的爬取黑洞或者面对大量低质量的页面，这就需要爬取系统还需要设计一套完整的爬取防作弊系统

　　百度搜索引擎的工作原理

　　网站抓取频率的中断原理

　　1、网站更新频率：更新来得快，更新来得慢，直接影响百度蜘蛛的访问频率

　　2、网站更新质量：更新频率增加，刚刚引起了百度蜘蛛的关注。百度蜘蛛对质量有严格的要求。如果网站每天更新大量内容，百度蜘蛛判断为低质量页面还是没有意义的。

　　3、连通性：网站要安全稳定，对百度蜘蛛保持开放。经常关闭百度蜘蛛可不是什么好事

　　4.网站评价：百度搜索引擎对每个网站都会有一个评价，这个评价会根据网站情况不断变化，是百度搜索引擎对网站的基本评分

　　二、搜索引擎过滤垃圾邮件

　　1.内容重复的网页：百度无需收录任何已经在互联网上的内容。

　　2.主要内容短而空的网页

　　1） 部分内容使用了百度蜘蛛无法解析的技术，如JS、AJAX等，虽然用户访问时可以看到丰富的内容，但还是会被搜索引擎抛弃

　　2） 加载过慢的网页也可能被视为空的短页。请注意，广告加载时间计为网页的整体加载时间。

　　3）很多主题不显眼的网页，即使被抓取回来，也会在这个链接中被丢弃。

　　3、一些作弊页面

　　4、各种过滤，示例可能包括过滤掉死链接、重复数据、*敏*感*词*、垃圾结果和您所知道的；

　　搜索引擎蜘蛛的工作原理

　　三、如何被收录索引

　　哪些网页可以进入优质索引库？其实总的原则是一个：对用户有价值。包括但不仅限于：

　　1.及时性和有价值的页面：在这里，及时性和价值是平行关系，两者缺一不可。有的网站为了生成时间敏感的内容页面，做了很多采集的工作，结果产生了一堆百度不想看到的毫无价值的页面。

　　2.内容优质的专题页：专题页的内容不一定是原创，也就是可以很好的整合各方的内容，也可以添加一些新鲜的内容，比如意见、评论等。用户拥有更丰富、更全面的内容。

　　3、高价值原创内容页：百度将原创定义为文章经过一定成本和大量经验形成的。不要问我们伪原创是不是原创。

　　4.重要的个人页面：这里只是一个例子。科比已经在新浪微博上开设了一个账户。即使他不经常更新，它仍然是百度的一个极其重要的页面。

　　百度搜索引擎蜘蛛

　　四、百度搜索引擎排名影响因素

　　1.相关性：网页内容与用户搜索需求的匹配程度，比如用户查看网页中收录的关键词的次数，以及这些关键词出现在什么地方；外部网页用来指向页面的锚文本等

　　2.权限：用户喜欢网站提供的内容，具有一定的权限。因此，百度搜索引擎也更相信优质权威网站提供的内容。

　　3.时效性：时效性结果是指收录新鲜内容的新网页。目前，时间敏感的结果在搜索引擎中变得越来越重要。

　　4.重要性：网页内容与用户检查需求相匹配的重要程度或受欢迎程度

　　5.丰富性：丰富性看似简单，但它是一个涵盖面非常广的命题。可以理解为网页内容丰富，完全可以满足用户的需求；既可以满足用户的单一需求，又可以满足用户的扩展需求。

　　6.受欢迎程度：指网页是否受欢迎。

　　7、最终排序，将最符合用户需求的结果先排序，可能收录有用的信息如：网站的整体评价、网页质量、内容质量、资源质量、匹配度、度分散性、时效性等

　　总结：这整个过程就是搜索引擎爬到排名结果页面的计算过程。当然，影响排名的因素有很多。这是一个网页分析技术，但网站的总分是由每个页面组成的。 ，所以需要优化每个网页的细节，做好用户体验，提高网站排名。

　　什么是自然排名 (SEO)？

　　您可以在搜索引擎搜索框中搜索营销热词，例如：“*敏*感*词*培训”。搜索引擎中有自然排名和竞价排名。现在搜索引擎中的竞价排名将与自然排名区分开来。在角落添加“广告”字样

　　搜索引擎的基本概念？

　　搜索引擎由四部分组成：搜索器、索引器、搜索器和用户界面。 1、searcher 是一个机器人程序，可以自动采集和发现互联网上的信息，遍历 Web 并将其下载到本地文档库。由于网络信息的容量大、分布广、动态性大，搜索者主要关注两个方面：一是采用更好的搜索策略；二是设计高性能系统架构，支持每秒下载大量网页。同时保证系统具有良好的稳定性，能够应对各种服务器事故。 2、Indexer，它的作用是理解搜索者搜索到的信息，从中提取索引项，以方便检索的方式表示文档并存储在索引数据库中，生成文档库的索引表。索引项有两类：客观索引项和内容索引项：客观项与文档的语义内容无关，如作者姓名、更新时间、长度等；内容索引项用于反映文档的内容，例如关键词和权重、短语、词等。内容索引项可以分为单索引项和多索引项（或词组索引项）。单索引条目是英文的英文单词，因为单词之间有自然的分隔符（空格），所以更容易提取；对于中文等连续书写的语言，必须分词。 3、searcher，其功能是根据用户的查询快速检索索引库中的文档，进行相关性评估，对输出结果进行排序，并根据用户的查询需求合理反馈信息。检索器使用的检索方法如下： 基于关键词的检索是一种不考虑文档具体内容，只判断文档是否收录勾选的关键词的方法。基于概念的检索是用户查询的概念扩展，然后转化为关键词检索。基于内容的检索是基于文档内容的检索。 4、用户界面，用户界面的作用是为用户提供一个可视化的查询输入和结果输出界面，并提供用户相关性反馈机制。用户界面的设计和实现采用人机交互的理论和方法，充分适应人类的思维习惯。用户输入界面可分为简单界面和复杂界面。简洁的界面只提供了一个文本框供用户输入查询字符串；复杂的界面允许用户限制查询，如逻辑运算、密切关系、域名范围、出现位置、信息时间、长度等。目前，一些公司和机构正在考虑制定查询选项的标准。

　　全文搜索引擎功能模块的组成是什么？

　　组成：搜索引擎通常由四部分组成：搜索器、索引器、搜索器和用户界面。原理：使用自动索引软件（搜索器，又称“网络机器人”或“网络蜘蛛”）对网络资源进行采集和标记，并将这些资源存储在数据库中。当用户输入搜索到的关键词时，它会在数据库中找到与该词匹配的记录，并按相关程度排序后显示出来。特点：数据库由自动索引软件生成，收录网络资源广泛，速度快，更新及时。缺点：缺乏人工干预，准确性差。代表网站：谷歌、百度。全文搜索引擎分为：有自己的搜索程序和数据库的，如谷歌；以及那些租用其他搜索引擎数据库的，以自定义格式排列的，例如 Lycos。