搜索引擎如何抓取网页(《搜索引擎索引系统概述》如何抓取页面、如何排序)

　　搜索引擎如何抓取网页(《搜索引擎索引系统概述》如何抓取页面、如何排序)

　　28日，百度官方发布了《搜索引擎索引系统概述》，对搜索引擎如何抓取页面、如何索引、如何排序进行了概括性的说明。那么对于网站的管理者来说，如何利用这些规则，让网站上的优秀内容更好的展现给用户呢？在Q Pig看来，需要解决以下问题：

　　第一个问题，如何完整捕获网站数据

　　分析：从网站的结构层面来解释这个问题，要让百度完整的收录网站页面，需要最大限度的让搜索引擎蜘蛛尽可能多地抓取网站 ，这需要一个简单、清晰、层次分明的 网站 结构。至于什么是合理的网站结构，百度很多文档都提到过，是一种网状的扁平树结构。

　　1、Netlike 保证每个页面至少有一个文本链接指向它，这样网站可以被尽可能全面地抓取收录，内部链的构建也能起到积极的作用在排名上。

　　2、Flatness 保证了从首页到内页的层数尽可能少，利于抓取，可以很好的传递权重。

　　3、 典型的树状结构是：首页-频道页-内容页

　　为了加强搜索引擎对每个页面在整个网站中的位置感，我们添加了导航，包括顶部导航、面包屑导航、底部导航等，需要注意的是导航的主要目的只是确定页面位置网站中的位置，导航是这些链接最重要的属性，所以尽量自然，不要堆积关键词。

　　类似于导航的功能是 URL 的标准化。一个简洁美观的网址不仅可以让用户和搜索引擎自然的了解页面的主要内容，还具有网站位置导航功能。同样，Q Pig 需要强调 URL 应该尽可能短。在中文搜索优化中，URL是否收录关键词对页面的排名影响不大，比如Q猪的这篇文章文章：百度关于搜索原理的解释，URL1为/seo /baiduguanyusousyuanlidechanshu.html，URL2是/seo/123.html，Q猪选择的是URL2。

　　搜索引擎抓取页面时，有两个问题需要特别注意：不重复内容，不重复页面浏览量，前者是确定页面内容的唯一性，保护原创@ > 内容性质，增加搜索引擎。对于网站的分数，后者是为了避免不必要的内部竞争。

　　第二个问题，搜索引擎如何索引

　　分析：用户在搜索框中输入关键词这句话。搜索引擎在产生结果之前，需要对互联网上亿万个页面进行分析和排序并存储在数据库中，并建立索引。用户输入关键词时，按照重要性从高到低的顺序呈现给用户，这也解释了为什么用户输入关键词后搜索引擎可以在短短几毫秒内产生结果。

　　那么，搜索引擎是如何分析网站页面并建立索引的呢？

　　目前，所有引擎都通过不断的识别和标记来分析页面内容。每个 URL 被打上不同的标签，存储在数据库中，然后根据 原创@> 性别和页面权重等因素进行排序。以Q猪的《百度对搜索原理的解释》为例。通过识别，本文可分为：百度、关于、搜索、原理、说明。关于搜索引擎如何分词，可以阅读Q Pig文章的另一篇文章：搜索引擎如何理解文件。

　　需要指出的是，搜索引擎页面分析的过程实际上是对原创页面的不同部分进行识别和标记，例如：标题、关键词、内容、链接、锚点、评论、其他不重要的区域等，所以在页面优化的时候，需要特别注意标题、关键词布局、主要内容、内外链描述、评论等。

　　第三个问题，搜索引擎是如何产生结果的

　　分析：内容标记索引后，当用户搜索关键词时，搜索引擎可以根据不同的组合，结合各种排名算法因素，按重要性倒序产生各种结果。

　　例如：

　　百度-0x123abc

　　关于 -0x13445d

　　搜索 -0x234d

　　原理-0x145cf

　　解释-0x354df

　　每个分词下，有不同的页面：

　　0x123abc-1,3,4,7,8,11。.

　　0x13445d-2,5,8,9,11

　　如果要检索的关键词是：0x123abc+0x13445d，那么8和11就会匹配结果。

　　需要指出的是，满足要求的结果必须经过层层过滤，包括过滤掉死链接、重复数据、*敏*感*词*、垃圾结果，以及你所知道的。. . 将最符合用户需求的结果排序在顶部，可能收录有用的信息如：网站整体评价、网页质量、内容质量、资源质量、匹配度、分散性、时效性等，详细内容大家可以看看Q猪有哪些因素可以提升网站的排名。