搜索引擎优化知识完( 搜索引擎蜘蛛+(+)·搜狗蜘蛛+)

　　搜索引擎优化知识完(

搜索引擎蜘蛛+(+)·搜狗蜘蛛+)

　　

　　搜索引擎的工作过程非常复杂，简单来说，搜索引擎的工作过程可以分为三个阶段。爬行和爬行：搜索引擎爬行器通过跟踪链接访问页面，获取页面HTML代码并将其存储在数据库中。预处理：搜索获胜，并对捕获的页面数据进行文本提取、中文分词、索引等处理，为调用文本进行排名程序。排名：用户输入关键字后，排名调用索引数据库数据，计算相关性，然后按照一定格式生成搜索结果页面

　　爬行和抓取

　　爬行和爬行是搜索引擎完成数据采集任务的第一步

　　蜘蛛

　　搜索引擎用来抓取和访问页面的程序称为spider，也称为robot

　　Spider代理名称：

　　百度蜘蛛：百度蜘蛛+（+）·

　　雅虎中国蜘蛛：Mozilla/5.0（兼容；Yahoo！Slurp China；）·

　　中文雅虎蜘蛛：Mozilla/5.0（兼容；Yahoo！Slurp/3.0)()

　　谷歌蜘蛛：Mozilla/5.0（兼容；谷歌机器人/2.1；+）·

　　微软必应蜘蛛：MSNBot/1.1（+）·

　　搜狗蜘蛛：搜狗+网络+机器人+（+#07)·

　　搜索蜘蛛：Sospider+（+）·

　　有道蜘蛛：Mozilla/5.0（兼容；YodaoBot/1.0)()

　　轨道链接

　　为了抓取尽可能多的网页，搜索引擎蜘蛛会跟踪网页上的链接并从一页爬到下一页，就像蜘蛛在蜘蛛网上爬行一样，蜘蛛网是搜索引擎蜘蛛名称的来源。最简单的爬行遍历策略分为两种：深度优先和广度优先圣

　　深度优先搜索

　　深度优先搜索是在搜索树的每一层仅扩展一个子节点，并继续向深度方向前进，直到无法再前进（到达叶节点或受深度限制），然后从当前节点返回到上层节点，继续向另一个方向前进。这种方法的搜索树是从树的根逐渐形成的

　　深度优先搜索也称为垂直搜索。因为具有解决方案的问题树可能收录无限分支，如果深度优先搜索错误地进入无限分支（即无限深度），无法找到目标节点。因此，深度优先搜索策略不完整。此外，应用此策略获得的解可能不是最佳解（最短路径）

　　广度优先搜索

　　在深度优先搜索算法中，首先展开深度较大的节点，如果根据搜索中节点的级别将算法改为搜索，则当该层的节点未被搜索和处理时，就不能处理较低的节点，即首先展开深度较小的节点，即节点首先生成的可以先展开，这种搜索算法称为广度优先搜索

　　在深度优先搜索算法中，首先展开深度较大的节点，如果根据搜索中节点的级别将算法改为搜索，则当该层的节点未被搜索和处理时，就不能处理较低的节点，即首先展开深度较小的节点，即节点首先生成的可以先展开，这种搜索算法称为广度优先搜索

　　吸引蜘蛛

　　哪些页面被认为更重要？有几个影响因素：

　　·网站和页面权重：网站具有高质量和旧资格被认为具有高权重，并且网站上的页面爬行深度也将很高，因此收录将有更多的内部页面@

　　·页面更新程度。每次爬行器爬行时，它都会存储页面数据。如果第二次爬行发现页面与第一次收录@页面完全相同，则表示页面未更新，爬行器不需要经常抓取。如果页面内容更新频繁，爬行器将更频繁地访问此页面，并且页面上的新链接自然会更容易被爬行器快速访问并抓取新页面

　　·导入链接。无论爬行器捕获相同网站的外部链接还是内部链接，都必须有导入链接才能进入页面，否则爬行器没有机会知道页面的存在。高质量的导入链接通常会增加页面上导出链接的爬行深度。一般来说，主页由于网站上的最大权重和大多数外部链接都指向主页，爬行器访问主页的频率最高。它们从主页单击的距离越近，页面的权重越高，被爬行器爬行的可能性越大

　　地址库

　　为了避免重复抓取和抓取web地址，搜索引擎将建立一个地址库，以记录发现未抓取的页面和已抓取的页面。地址库中的URL来自多个来源：

　　（1)手动输入的*敏*感*词*网站

　　（2)spider抓取页面，从HTML解析新链接URL，并将其与地址库中的数据进行比较。如果它是地址库中没有的网址，则它将存储在要访问的地址库中

　　（3)webmaster的网址通过搜索引擎网页提交表单提交）

　　爬行器根据重要性从要访问的地址库中提取URL，访问并抓取页面，然后从要访问的地址库中删除URL并将其放入已访问的地址库中

　　大多数主流搜索引擎为站长提供了一个提交URL的表单。但是，这些提交的URL只存储在地址库中。是否收录@取决于页面的重要性。搜索引擎收录@的大部分页面都是通过蜘蛛跟踪链接获得的。可以说提交页面基本上不是无用的，而搜索引擎更喜欢跟随他们找到新页面的链接

　　文件存储搜索引擎爬行器捕获的数据存储在原创页面数据库中。页面数据与用户浏览器获取的HTML完全相同。每个URI都有一个唯一的文件号

　　爬网期间重复内容检测

　　检测和删除复制的内容通常在下面描述的预处理过程中完成，但今天的爬行器在抓取文件时也会在一定程度上检测到复制的内容。当它们在网站上遇到大量重印或复制的内容时，它们可能不会继续抓取。也就是说，一些站长在日志文件中发现了蜘蛛，但该页面从未被爬网过，这是真正被收录@打败的原因

　　预处理

　　在一些SEO材料中，“预处理”也称为“索引”，因为索引是预处理的主要步骤

　　搜索引擎蜘蛛捕获的原创页面无法直接用于查询和排名处理。搜索引擎数据库中的页面数超过万亿。用户输入搜索词后，排名程序会实时分析这么多页面的相关性。计算量太大，无法返回结果排名结果只需一两秒钟。因此，必须对捕获的页面进行预处理，为最终的查询排名做好准备

　　像爬行和爬行一样，预处理是在后台提前完成的，用户在搜索时感觉不到这个过程

　　1.extract text

　　今天的搜索引擎仍然基于文本内容。除了用户可以在浏览器中看到的可见文本外，蜘蛛捕获的页面中的HTML代码还收录大量HTML格式标记、JavaScript程序和其他无法用于排名的内容。搜索引擎预处理的第一件事是从HTML文件中删除标记和程序，并提取可用于对页面面文本内容进行排名处理的HTML代码

　　今天是愚人节

　　删除HTML代码后，用于排名的剩余文本仅为此行：

　　今天是愚人节

　　除了可见文本，搜索引擎还将提取一些收录文本信息的特殊代码，如元标记中的文本、图片的替代文本、flash文件的替代文本、链接锚文本等

　　2.中文分词

　　分词是中文搜索引擎的一个独特步骤。搜索引擎存储和处理基于单词的页面和用户搜索。英语和其他语言中的单词用空格分隔，搜索引擎索引程序可以直接将句子划分为单词集。中文单词之间没有分隔符，所有单词和单词都没有分隔符是的。搜索引擎必须首先区分哪些词构成一个词，哪些词本身就是一个词。例如，“减肥方法”将分为“减肥”和“减肥方法”

　　基本上有两种中文分词方法，一种是基于词典匹配的，另一种是基于统计的

　　基于词典匹配的方法是将要分析的汉字与预先构建的词典中的条目进行匹配。如果在要分析的汉字字符串中扫描词典中的现有条目，则匹配成功，或者删除一个单词

　　基于字典的匹配方法根据扫描方向可分为正向匹配和反向匹配，根据匹配长度的优先级可分为最大匹配和最小匹配，首先混合扫描方向和长度可产生不同的方法，如正向最大匹配最大匹配与反向最大匹配

　　字典匹配法计算简单，精度高