如何学通搜索引擎工作原理，蜘蛛爬网抓虫子的过程

　　如何学通搜索引擎工作原理，蜘蛛爬网抓虫子的过程

　　对于每一个做SEO优化的人来说，最基本也至少要了解搜索引擎的工作原理，因为我们做网站优化是通过与搜索引擎打交道来实现我们网站的排名的！有必要研究搜索引擎的工作原理。今天和大家分享一下我是如何学习搜索引擎的工作原理的。事实上，这很简单。您可以将搜索引擎的工作原理模拟为蜘蛛爬行和捕虫的图像。具体流程是怎样的？我可以给你详细分析一下：

　　搜索引擎的工作原理大致可以分为三个阶段：

　　第一阶段：爬行和爬行：

　　搜索引擎蜘蛛通过跟踪链接地址访问网站页面，并将获取到的网站页面html代码放入自己的数据库中。爬取爬取是搜索引擎工作的第一步，主要完成数据采集的任务；

　　解释几个关键词：

　　1、蜘蛛：

　　（1）definition：我在抓取网页数据的时候叫它执行器，其实就是一个电脑程序，因为工作过程和现实中的蜘蛛很像，专业上叫搜索引擎.蜘蛛！

　　(2）工作流程：蜘蛛程序向网站页面发送访问请求，服务器将返回HTML代码，蜘蛛程序将接收到的代码存储到原创页面的数据库中。访问任何网站网站root目录下的robots.txt文件会先被访问！如果robots.txt文件禁止搜索引擎抓取某些文件或目录，蜘蛛会遵守这些禁令，不会抓取那些禁止的网址。

　　(3）常见搜索引擎蜘蛛名：

　　百度蜘蛛、雅虎中国蜘蛛、谷歌蜘蛛、微软必应蜘蛛、搜狗蜘蛛、搜搜蜘蛛、有道蜘蛛等等！

　　2、跟踪链接

　　大家都知道，整个互联网是由相互连接的网站页面组成的！页面和页面通过链接连接。为了更快地采集网站数据，搜索引擎使用搜索引擎蜘蛛跟踪网站页面上的链接，从一页爬到下一页！这个过程就像蜘蛛在蜘蛛网上爬行一样！这样蜘蛛就可以快速爬取整个网站网络页面！

　　根据网站link结构的不同，我们可以将蜘蛛爬行路线分为深度爬行和广度爬行两种类型

　　A：深度爬行：蜘蛛沿着找到的页面链接向前爬行，直到前面没有链接，然后返回第一页，然后沿着另一个链接向前爬行！

　　B：Breadth crawling：当蜘蛛在一个页面上发现多个链接时，它不会沿着一个链接向前爬，而是爬取页面上所有的一级链接，然后沿着第一个链接继续。在二级页面找到的链接爬到了三级页面！继续这样……

　　所以，我们在做网站的时候，对于网站的结构我们必须有这两种布局，而且我们在优化网站页面的时候也要做好这两种链接布局！这个结构被搜索引擎蜘蛛群喜欢了！

　　3.针对性优化技术引诱蜘蛛

　　A：读取网站，优化页面权重，增加蜘蛛访问次数。

　　B：做好页面更新频率和内容质量

　　C: 添加导入链接

　　D：离首页的点击距离；点击距离首页越近，页面权重越高，蜘蛛爬行的机会越大

　　4、地址库，

　　搜索引擎会建立一个地址库来存储页面。目的是为了避免搜索引擎蜘蛛重复抓取和抓取网址。这个地址库中的页面有被爬取过的，有的被发现后还没有被爬取。页面！

　　这个地址库中的网址一定要被蜘蛛爬取吗？答案是否定的

　　有手动输入的seed网站地址，也有站长通过搜索引擎网页提交表单提交的网址！ （百度网址提交地址：）

　　还有一点需要注意的是：URL一旦提交，可能不是收录，这取决于你提交的页面的权重！但是，搜索引擎蜘蛛还是喜欢按照链接来爬取页面！你得到的更好吃！

　　5、文件存储

　　搜索引擎蜘蛛抓取到的页面都存储在这个原创页面数据库中！每个 URL 都有唯一的文件编号！

　　6.检测复制内容

　　很多站长都遇到过这个问题：我在网站页面发现蜘蛛爬行，但是页面没有被收录，不知道怎么回事！其实很简单。很有可能蜘蛛在抓取你的网页时发现了很多权重较低的内容，例如：转载或伪原创内容，蜘蛛就会离开！您的网页不会是收录！蜘蛛在抓取页面内容的时候也会进行一定程度的复制内容检测！

　　第二阶段：预处理

　　这个过程是指：索引程序对数据库中蜘蛛爬取的网站页面进行处理，主要做文本提取、中文分词、索引等；

　　这个过程起到了桥梁的作用。因为搜索引擎数据库中的数据太多，当用户在搜索框中输入关键词时，不可能一下子返回排名结果，但是我们经常感觉很快，预处理的过程其实起到了关键作用！和爬虫过程一样，他提前在后台完成了！

　　有些人认为预处理就是索引，但事实并非如此。索引只是预处理的一个主要步骤。那么什么是索引？索引是一种对数据库列表中一列或多列的值进行排序的结构！

　　索引前要完成的五项任务：

　　1、提取文本：

　　我们知道蜘蛛爬取的页面收录了所有的HTML代码，其中其实收录了很多信息：有文本、CSS属性、很多HTML格式标签、javascript程序！但后两者不能参与排名内容，也就是说，除文字外的一切都被去除了。这个过程就是去除过程，也叫提取文本的过程，即：提取后可以对网站page文本内容进行排名处理！

　　注意：除了提取可见文本，搜索引擎还可以提出以下不可见文本内容；例如：METa标签中的文本内容、图片替代文本、FLASH文件替代文本、链接锚文本等！

　　2、中文分词

　　大家都知道中文句子和英文句子是有区别的。不是字母和汉字的区别，而是英文单词和单词之间有空格。在汉语句子中，词与字没有区别。分隔符，一个句子中的单词都连在一起！所以，这时候搜索引擎首先要区分哪些字符构成一个词，哪些字符本身就是一个词！例如：“波司登羽绒服”分为两个词：“波司登”和“羽绒服”；

　　中文分词一般有两种方法：

　　A：字典匹配：分为正向匹配和反向匹配！

　　B：根据搜索统计

　　两者经常混在一起！而且，百度和谷歌中分词的相关性有时是不同的。例如，搜索引擎优化在百度中是一个完整的词，但在谷歌中分为“搜索”、“引擎”和“优化”。部分，所以在做优化的时候一定要注意选择的关键词的特性。后面我们会详细讲解选词技巧。

　　注意：如果我们必须合并一个词而不让搜索引擎的分词技术将它分开怎么办？

　　我们可以这样做：在页面标题、h1标签中，用粗体将关键词加粗！这样，搜索引擎就得到了适当的提醒，搜索引擎就会知道“我们的”这个词是一个组合，不会分开！

　　3、去停止词

　　什么是停用词？这些是在页面上出现频率较高且对内容没有实质性影响的词；例如：“的”、“得”、“地”、“啊”、“哈”、“啊”等感叹词，“thus”等副词或介词如“”“”“”，”等，这些词被称为停用词！英文：the、a、an、to、of等

　　搜索引擎停用词主要有两个目的：

　　一是使索引数据的主体更加突出，减少不必要的计算；

　　另一个是：检查您的内容是否与另一个数据库中的内容重复。

　　这里需要提醒大家：不要只是复制一段文章，以后在网上加上几个停用词，粘贴到你的网站上。了解了上面的内容，你应该就知道是什么意思了。 ！

　　4、去除噪音：

　　这里的noise不是我们所说的noise，它特指一种垃圾，也就是多余的词！这些词一般收录在版权声明文本、导航栏和广告中！消除噪音是为了让页面更好地展示主题内容：

　　示例：博客中的“类别”和“历史档案”！

　　5、去重（冲）

　　你是什么意思？如果相同的文章出现在不同的网站或链接上

　　当你转到不同的地址时，搜索引擎会认为它是一个文件。它不喜欢这种重复的内容，所以它也不会抓取它！在建立索引之前，需要对这些内容进行识别并删除重复的内容，这就是所谓的“去重”！

　　如何摆脱繁重的搜索引擎！我们不需要掌握技术，但要注意几个关键点：

　　A：简单地加上“de”、“land”和“de”，很容易识别，一定要慎重使用！

　　B：复制别人的文章，简单交换段落结构！这个伪原创也要慎用！

　　这是因为：这种操作无法改变文章具体的关键词，以上方法也逃不过搜索引擎的去重算法。

　　经过以上五个步骤，搜索引擎将能够以单词为单位获得能够反映页面主要内容的独特内容。

　　然后搜索引擎程序通过分词程序将上面提取的关键词进行分割，将每个网站页面转换成关键词的集合！同时记录每个关键词在页面上出现的频率、次数、格式（例如：标题标签、粗体、H标签、锚文本等）位置（段落）。这些都以权重的形式记录。 ！然后放到一个地方，这个地方就是这些复合词的词汇结构——索引库！也作为“词库索引表”提交

　　什么是正向索引：

　　每个文件夹对应一个ID，文件内容表示为关键词!在搜索引擎的索引库中，关键词此时还没有转化为关键词ID。这种数据结构称为正向索引！

　　画个图让大家看懂：

　　

　　什么是倒排索引？

　　因为前向索引不能直接用于排名！例如，如果用户搜索某个关键词2，如果仅从前向索引，他只能找到收录关键词的文件夹，而无法实际返回排名；在这种情况下，将使用倒排索引

　　关键词成为倒排索引中的主键，每个关键词对应一系列文件，每个文件出现关键词被搜索，这样用户就在搜索某个关键词处到时候排序程序就可以在倒排列表中找到关键词对应的文件了！

　　详情请看图片：

　　

　　特殊文件的处理：

　　搜索引擎除了抓取HTNL文件外，还可以抓取以下文件类型：PDF、Word、WPS、PPT、TXT等，但注意：搜索引擎不能抓取图片、视频、Flash等文本无法执行内容、脚本和程序！所以当你在做SEO的时候，你网站尽量少用这些！

　　链接关系的计算：

　　当搜索引擎抓取一个页面时，它还必须预先计算哪些链接指向页面上的哪些页面。每个页面导入的链接是什么，链接中使用了哪些锚文本？正是这些复杂的链接指向关系，构成了网站和页面的链接权重！例如：Google的PR值就是这些关系的重要体现，后面会详细说明！

　　第三阶段：排名：

　　排名过程是与用户交互的过程：用户输入关键词后，排名程序调用索引库中的数据，计算相关性，生成一定格式的搜索结果页面！

　　1、搜索词的处理过程

　　A：中文分词；我之前说过

　　B：转到停用词；我之前说过；

　　C：命令处理：搜索引擎默认的处理方式是关键词之间使用“与”逻辑。例如，当用户搜索“网站建筑”时，搜索引擎默认为用户想要查找的内容。 “网站”还收录“构建”页面！

　　常见的搜索命令有加号和减号。还有哪些其他搜索命令？如何使用搜索命令将在后面的章节中详细说明！

　　D：如果用户输入明显错误的单词或英文单词，搜索引擎会提示用户使用正确的单词或拼写！例如：搜索“建站技巧”

　　E：集成搜索触发器！比如搜索名人，图片、视频等内容都会出现！适合热点话题；

　　2.文件匹配如何工作？

　　这部分可以在倒排索引中快速完成：看图

　　

　　如果用户搜索同时收录关键词2和关键词3的词，那么群会准确找到同时收录关键词2和关键词3的文件，然后返回！

　　3、如何选择初始子集？

　　互联网上有数千个页面，搜索某个关键词就会有数千万个页面。如果搜索引擎上来直接计算页面的相关性，简直太费时间了！事实上，用户不需要看到这几千个页面，他们只需要一两个有用的页面！这时，搜索引擎会根据用户的搜索词选择100个文件，然后返回。那么他们选择了哪一百个文件呢？这取决于您的网站 页面与用户搜索的关键词 之间的相对匹配！权重高的页面会进入搜索引擎的预选子集！

　　4、计算相关性

　　选择子集后，将计算页面的相关性。我们不需要知道搜索引擎是如何计算页面相关度的，但是我们知道影响页面相关度计算的因素，这将有助于我们进一步优化我们的网站！

　　SEO 关注以下因素：

　　A：关键词 的频率：例如，“来吧 UFO”

　　B：词频和密度

　　在没有关键词积累的情况下，一般认为页面上出现的搜索词的数量和密度越高，页面与搜索词的相关性就越高！

　　C：关键词的位置和形式

　　位置研究主要包括：首页还是副页？主要研究形式：标题标签、粗体、H1

　　D关键词距离：例如，如果搜索词是“网站建筑”，如果页面上多次出现“网站建筑”这个词，而不是单独的“网站”是没有构造，还是没有构造网站！

　　E：链接分析和页面权重

　　链接和权重的关系主要是锚文本。导入多少个搜索词作为锚文本链接更相关

　　5.排名过滤和调整

　　选择匹配的文件子集后，大致排名就基本确定了！这里做的排名过滤主要针对那些涉嫌作弊的网站进行调整！虽然根据之前的工作最终计算出来的这些网站的权重和相关度很高，但是搜索引擎也会在最后一步过滤掉这些网站！

　　6、排名显示效果

　　主要显示为：原页面的标题标签、描述标签、快照日期等数据！

　　注意：有些网站是搜索引擎需要调用动态生成的页面摘要，而不是调用页面本身的描述！

　　7.搜索引擎缓存的作用：

　　搜索引擎会记录一些用户经常搜索的词，并将这些搜索到的排名记录存储在搜索引擎的缓存中。当用户搜索该词一次时，搜索引擎会直接调用该内容！这样就缩短了搜索响应时间，大大提高了排名效率！

　　总结：以上是对搜索引擎整个工作流程的详细介绍！这些只是概念上的东西。其实搜索引擎的工作步骤和算法远比我们想象的复杂！不过没关系，我们只需要了解SEO的这些基本概念就可以了！搜索引擎的算法还在优化中。有兴趣的同学可以多加关注，也会帮助他们在优化上有新的突破！以上介绍的概念大致就是主流搜索引擎的基本工作原理！