seo优化搜索引擎工作原理( 详解搜索引擎工作过程非常复杂接下来的几节我们简单介绍(组图))

　　seo优化搜索引擎工作原理(

详解搜索引擎工作过程非常复杂接下来的几节我们简单介绍(组图))

　　SEO实战密码搜索引擎工作原理详解。搜索引擎的工作过程非常复杂。在接下来的几节中，我们将简要介绍搜索引擎如何实现页面排名。这里介绍的内容与真正的搜索引擎技术相比，只是皮包骨。对 SEO 人员来说足够了。搜索引擎的工作过程大致可以分为三个阶段： 1 爬行和爬行。搜索引擎蜘蛛通过跟踪链接访问网页，获取网页的HTML代码并存入数据库。 2 对索引程序进行预处理以抓取页面。数据经过文本提取和中文分词索引处理，准备排名程序调用3个排名用户输入关键词后，排名程序调用索引库数据计算相关性，生成一定格式的搜索结果页面爬行爬行 爬行爬行是搜索引擎工作的第一步，就是完成数据采集的任务。蜘蛛搜索引擎用来抓取和访问页面的程序称为蜘蛛蜘蛛，也称为机器人搜索引擎。当蜘蛛访问网站页面时，它类似于普通用户使用的浏览器。蜘蛛程序发送页面访问请求。服务器返回 HTML 代码蜘蛛。该程序将接收到的代码存储在原创页面数据库搜索引擎中。为了提高爬行和爬行速度，采用了多个蜘蛛进行并发分发。爬虫在访问任何网站时，都会先访问网站root目录下的robotstxt文件。如果 robotstxt 文件禁止搜索引擎抓取某些文件或目录。蜘蛛会遵守协议。新版离婚协议。劳动协议。个人投资。共享协议。广告合作协议。自愿离婚协议。还有用于标识自己的代理名称。站长可以在日志文件中看到搜索引擎的具体代理名称来识别搜索引擎蜘蛛。下面列出了常见的搜索引擎蜘蛛名称。百度蜘蛛httpwwwbaiducomsearchspiderhtm 百度蜘蛛。 ·Mozilla50compatibleGooglebot21httpwwwgooglecombothtmlGoogle Spider·msnbot11httpsearchmsncommsnbothtmMicrosoft Bing Spider·Sogouwebrobothttpwwwsogoucomdocshelpwebmastershtm07Search Dog Spider·SosospiderhttphelpsosocomwebspiderhtmSearch Spider·Mozilla50httpsearchmsncommsnbothtm跟踪链接 为了在互联网上抓取尽可能多的页面，搜索引擎蜘蛛会跟踪页面上的链接，从一个页面爬到下一个页面。这就像蜘蛛在蜘蛛网上爬行一样。这就是名称搜索引擎蜘蛛的由来。整个互联网是由彼此组成的。链接网站 和页面组成。理论上，蜘蛛可以从任何页面爬行，并通过链接访问互联网上的所有页面。当然，由于网站和页面链接的结构异常复杂，蜘蛛需要采取一定的爬取策略才能遍历。最简单的对互联网上所有页面的爬行遍历策略分为两种。一个是深度优先，一个是广度优先。所谓深度先是指蜘蛛沿着找到的链接向前爬行，直到前面没有更多的链接，然后返回到第一个页面跟随另一个链接，然后向前爬行，如图2-20所示。蜘蛛跟踪链接从页面 A 爬行到页面 A1A2A3A4 再到页面 A4。没有其他链接可以关注后，返回页面A，关注页面上的其他页面。一个链接爬到 B1B2B3B4。在深度优先策略中，蜘蛛爬行直到它不能再向前移动，然后再返回爬行另一条线。广度优先是指当蜘蛛在一个页面上发现多个链接时，它不会跟随一个链接而是向前移动而不是页面。抓取页面上所有的一级链接，然后按照二级页面找到的链接到达三级页面，如图2-21所示。蜘蛛从A页面沿着A1B1C1页面的链接爬行，直到A页面的页面全部爬完后，再从A1页面找到的下一级链接爬到A2A3A4页面。图2-20 深度优先遍历策略 图2-21 广度优先遍历策略。理论上不管是深度优先还是广度优先，只要给蜘蛛足够的时间就可以爬上一个完整的交互

<p>在互联网的实际工作中，蜘蛛的带宽资源时间不是无限的，不可能爬满所有的页面。其实最大的搜索引擎只是爬取和收录了 互联网的一小部分通常是深度优先和广度优先。混合使用不仅可以照顾到尽可能多的网站广度优先，还可以照顾到一些网站内页深度优先 3. 吸引蜘蛛。可以看出，虽然理论上蜘蛛可以爬取所有页面，但在实践中不能也不会这样做。如果SEO人员想通过收录获得更多他们的页面，他们必须尝试吸引蜘蛛爬行，因为他们无法被爬行。蜘蛛所要做的就是尽可能多地抓取重要页面。哪些页面被认为更重要？影响因素有几个： 1网站 质量页面权重高，合格的老网站被认为权重比较高网站 页面对页面的爬取深度也会更高，所以会有更多的内部页面是收录2。页面更新度蜘蛛每次爬取时都会存储页面数据。如果第二次爬取发现页面和第一个收录 描述完全一样。职位描述。职位描述标准模板。职位描述。总经理。职位描述。出纳员。职位描述页面未更新。蜘蛛没有必要经常爬行。如果页面内容更新频繁，蜘蛛会更频繁地访问该页面。链接自然会被蜘蛛跟踪以更快地抓取新页面。 3 导入的链接，无论是外链还是同一个网站内链，都必须被蜘蛛导入才能进入页面，否则蜘蛛是没有机会知道页面的。高质量导入链接的存在，往往会增加页面导出链接的深度。 4 单击与主页的距离。一般来说，网站在首页的权重最高。大多数外部链接都是指向主页的蜘蛛。最常访问的也是主页。点击距离离首页越近，页面权重越高，被蜘蛛爬取的机会就越大4。地址数据库为了避免重复抓取和抓取网址，搜索引擎会创建一个地址数据库来记录已找到和未抓取的页面以及已抓取的页面。地址数据库中的 URL 有多个来源。 1 手动输入*敏*感*词*网站2 爬取页面后，蜘蛛从HTML中解析出新的链接URL，并与地址库中的数据进行比较。如果是不在地址库中的URL，则将其存储在地址库中以供访问。 3 站长通过搜索引擎网页提交表单提交 根据网址蜘蛛的重要性，从要访问的地址库中提取要访问的网址抓取页面，然后从要访问的地址库中删除该网址并将其放入访问地址库中。大多数主流搜索引擎都提供了一个表单供站长提交网址，但这些提交的网址只是存储在地址库中。这取决于页面的重要性。 收录的大部分页面都是蜘蛛跟踪链接获取的。可以说，提交页面基本上是无用的搜索引擎更喜欢自己沿着链接发现新页面。文件存储搜索引擎蜘蛛抓取的数据存储在原创页面数据库中。页面数据与用户浏览器获取的 HTML 完全相同。每个 URL 都有一个唯一的文件编号。爬取时复制内容的检测和删除复制内容的检测和删除通常在下面描述的预处理过程中进行，但现在蜘蛛在爬取和爬取文件时也会进行一定程度的复制内容检测。当网站上大量转载或抄袭内容时，有可能不会继续爬取。这就是为什么有些站长在日志文件中发现了蜘蛛，但页面从来没有真正收录。第二个预处理是在一些SEO材料中进行预处理。处理也简称为索引，因为索引是预处理中最重要的一步。搜索引擎蜘蛛抓取的原创页面不能直接用于查询排名处理。用户输入搜索词后，搜索引擎数据库中的页面数在万亿级以上。依靠排名程序实时分析这么多页面，计算量太大，无法在一两秒内返回排名结果。因此，必须对抓取的页面进行预处理，为最终的查询排名做准备。预处理与爬行爬行相同。用户在后台提前搜索时也感受不到这个过程。目前的搜索引擎还是以文字内容为主。蜘蛛抓取的页面中的HTML代码除了用户在浏览器上可以看到的可见文本外，还收录大量的HTML格式标签。 JavaScript 程序不能用于排名。首先要做的是从HTML文件中去除标签，并提取网页的文本内容，可用于排名处理。例如下面的HTML代码divide"post-1100"class"post-1100posthentrycategory-seo"divclass"posttitle"h2ahref今天愚人节哈"今天愚人节哈ah2"httpwww55likecomseoblog20100401fools-day"rel"b