搜索引擎抓取原理 文本入库检索过程

　　搜索引擎的搜索诠释大部分为排序、索引、抓取三个步骤，其实原理非常复杂， 在处理过程中须要进行抓取信息消除重复、中文动词处理、关键词内容对比、页面链接关系、消除噪声、建立索引、搜索诠释等，关于这种下边作详尽介绍。

　　搜索引擎优化基本工作原理

　　1、抓取

　　搜索引擎会抛出一种被叫做“机器人，蜘蛛”的软件按照一定的规则扫描互联网里面的网站，沿着网页的链接从一个网页到另一个网页，从一个网站到另一个网站，获得页面HTML代码，并存入数据库。为了采集到最新的资料，会继续回访已抓取过的网页。

　　2、索引

　　由剖析索引系统程序对搜集回去的网页进行剖析，提取相关网页信息，根据一定的相关度算法进行大量复杂估算，得到每一个网页针对页面文字中及超链中每一个关键词的相关度，然后用这种相关信息构建网页索引数据库。

　　3、排序

　　当用户输入关键词搜索后，由搜索系统程序从网页索引数据库中找到符合该关键词的所有相关网页。因为所有相关网页针对该关键词的相关度已经算好，所以只需根据现成的相关度数值排序，相关度越高，排名越靠前。最后返回给用户。

　　搜索引擎的工作原理大体分为3步：爬行抓取——索引——排序。

　　抓取：主要是数据搜集。

　　索引/预处理：提取文字——中文动词——去除停止词——消除噪音——去重——索引。

　　排序：搜索词处理——匹配文件——初始子集选择——相关性估算——过滤、调整——排名显示。

　　搜索引擎优化检索过程

　　1、抓取信息消除重复

　　搜索引擎优化的工作原理中蜘蛛在抓取信息后会在数据库里进行一个剔除杂质的过程，如果你的文章被蜘蛛抓取到，类容和他人的雷同这么蜘蛛都会感觉你这个类容是没有价值的都会很容易扔掉。会有好多的停止词例如：的、地、得、啊、吗、之类词。

　　2、中文动词(切词)处理

　　搜索引擎会依照自己的字典词库进行切词，把你的标题以及内容切分好多的关键词。所以网站建设公司在创建内容的时侯一定要在标题和内容上面收录关键词。

　　3、提取网站的关键词对比你的页面内容

　　计算页面的关键词密度是否合理，如果密度比较稀疏，说明你的关键词和内容的匹配度不高，那么关键词通常没有好的排行，你也不能再页面上面刻意的去堆积页面的关键词，导致密度很高，那么搜索引擎会觉得你在作弊，单纯想考堆积关键词的方式来做排行，这样的手段很容易受到搜索引擎的惩罚。

　　4、计算页面的链接关系

　　搜索引擎优化的工作原理中所谓的页面的链接关系，指的是你网站的导入链接和导出链接的估算。所谓的导入链接指的是你网站上面挂了指向其他网站的链接称作导入链接。导入链接，一个页面的导出链接越多相对来说这个页面得分越高，越利于网站的页面的排行。导出链接越多，页面的得分越低，不利于页面的排行。

　　5、消除噪声处理

　　搜索引擎优化的工作原理中所谓的噪声指的是网页里面的好多的弹窗的广告。不相关的垃圾页面。如果网站挂了好多的弹窗广告百度会觉得你的网站严重的影响了用户体验，对于那些网站百度是严厉严打的，不会给您好的排行。百度出的冰桶算法严打页面广告的网站。

　　6、建立索引

　　搜索引擎按照前面的处理结果，把网站的页面装入到自己的索引库上面，索引库上面的内容虽然就是百度排行好的结果。当我们使用site指令来查询网站的收录的时侯百度释放出索引的内容下来。