建立索引库和索引排名在互联网中超中的应用

　　建立索引库和索引排名在互联网中超中的应用

　　(1）抓取网页

　　每个独立的搜索引擎都有自己的网络爬虫蜘蛛。蜘蛛蜘蛛跟踪网页中的超链接，从这个网站爬到另一个网站，通过超链接分析不断访问和获取更多的网页。抓取到的网页称为网页快照。因为超链接在互联网上的应用非常普遍，理论上从一定范围的网页开始，可以采集到大部分网页。

　　(2）预处理网页

　　搜索引擎抓取到网页后，还需要做大量的预处理工作，才能提供检索服务。包括：文本提取、中文分词、去停用词、去噪、去重复。由于搜索引擎数据库中的页面数在万亿以上，用户输入搜索词后，排名程序会实时分析这么多页面的相关性，计算量太大，无法在一秒内返回排名结果或两个。抓取的页面必须经过预处理，为最终的查询排名做准备。

　　(3）构建索引库和索引排名

　　在去除重复网页、中文分词、判断网页类型、分析超链接、计算网页重要性/丰富度后，最重要的是提取关键词，建立索引库和索引排名。

　　正向索引

　　1）经过文本提取、分词、去噪、去重后，搜索引擎获得了反映页面主要内容的独特的、基于词的内容。

　　2） 然后搜索引擎索引程序可以提取关键词，根据分词程序，将页面转换成一组关键词，记录每一个关键词出现在页面上的频率，频率，格式（标题标签、粗体、H 标签、锚文本等）、位置（如页面第一段等）。

　　3）搜索引擎索引程序将页面和关键词存储到词汇结构中，进入索引数据库。

　　4）forward 索引就是将页面文件分成多个关键词组成的主要内容，并存入索引数据库，形成对应关系。

　　反向索引

　　1）Positive 索引不能直接用于排名。搜索引擎会将正向索引数据库重构为倒排索引。 （即从文件到关键词的映射转换为从关键词到文件的映射）

　　2） 当用户搜索某个关键词时，排序程序会在倒排索引中定位这个关键词，并且可以立即找到收录这个关键词的所有文件。

　　指数排名

　　1）用户在搜索框中填写关键词后，排名程序调用索引库数据为用户计算排名。排名过程与用户直接交互。

　　（4）Provide 检索服务（提供答案）

　　当用户输入关键词进行搜索时，搜索引擎从索引库中找到与关键词最匹配的网页；为方便用户，除了提供网页标题和网址外，还会提供网页摘要等信息。