seo深度解析:全面挖掘搜索引擎优化的核心秘密(搜索引擎构建良好索引，为用户提供良好信息聚集与查询服务)

　　seo深度解析:全面挖掘搜索引擎优化的核心秘密(搜索引擎构建良好索引，为用户提供良好信息聚集与查询服务)

　　目前，搜索引擎正在高速发展，通常搜索引擎会检索到相当一部分的互联网站点。但内容过大，导致内容细分不足，无法满足用户的深度需求。如何基于目标站点或站点组建立可行的垂直搜索框架，满足各种特殊规则，在内容上做到。详细的分类，加上良好的索引建设，为用户提供良好的信息聚合和查询服务。当前的互联网搜索引擎通常由4大系统组成：

　　 下载系统：负责从万维网下载各类网页，并保持万维网的相对同步。

　　 分析系统：负责提取下载系统得到的网页数据，并通过超链接分析、文本去噪、分词，构建文档向量空间。

　　 索引系统：负责将分析系统处理的网页对象索引到数据库中。

　　 查询系统：负责分析工具提交查询请求，通过从索引数据库中检索相关网页并对网页进行排序，以查询结果的形式返回给用户。

　　部署在网络中的网页信息采集器（爬虫）不断从URL队列中获取所需的网络资源、超文本、PDF、Word、Image。通过分析系统测量和计算超链接结构，进行文本去噪、分词、特征提取和分类。

　　以上是对搜索引擎工作原理的简要概述。随着网络信息容量的指数级增长，大量的文档信息淹没了查询结果集，虽然搜索引擎会判断文档的重要性及其与 关键词 的相关性，但事实是用户只需要特定的方向，这也是为什么垂直搜索引擎越来越受到重视，细分用户需求，针对特定需求制定好的文档检索处理策略，提供更加人性化的服务。有很大的前景。目前市场确实如此：从商机搜索到视频搜索，无不体现着垂直搜索的巨大潜力。垂直搜索引擎是通用搜索引擎提出的一种新的搜索引擎服务模式，信息量大，查询不准确，深度不够。有价值的信息和相关服务。其特点是“专、精、深”，具有行业色彩。与一般搜索引擎的海量信息无序相比，垂直搜索引擎更具针对性、针对性和深度。垂直搜索引擎的概念被提出来为特定领域、特定人群或特定需求提供有价值的信息和相关服务。可以简单地描述为搜索引擎领域的产业分工。许多专业网站和行业网站独立服务互联网的成功，恰恰证明了互联网的格局应该是多元化的。通用搜索引擎的性质决定了它们不能满足特殊领域、特殊人群的精准信息需求。市场需求的多样化决定了搜索引擎的服务模式将被细分，为不同行业提供更精准的行业服务模式。可以说，通用搜索引擎的发展为垂直搜索引擎的出现提供了良好的市场空间，在互联网中必然会出现垂直搜索引擎占据部分市场的趋势，这也是必然趋势搜索引擎行业细分。那么垂直搜索“专、精、深”的要求决定了垂直搜索引擎不同于普通搜索引擎。

　　 爬虫系统：负责从信息源爬取数据，爬虫程序通常基于预先构建好的模板，而没有模板的爬虫程序只能处理结构相对简单的信息。爬虫系统涉及的关键技术点是爬虫。路径分析、增量爬取和全爬、信息结构完整性、信息唯一标识、多页信息集成、自动索引（该功能也可以单独提出）等；

　　索引系统为捕获的信息创建类似于书目的数据文件，以便于高速检索。索引系统涉及的关键技术点包括分词技术、前后评分、增量索引和全索引、排序技术、热词缓存、标准检索语句的解析；

　　 搜索系统是提供搜索功能的网站。网站 的具体表达方式不同，但都提供全文检索功能。除了搜索功能外，它们还提供其他与业务相关的功能。

　　垂直搜索不同于一般的水平搜索：

　　与网库的蜘蛛相比，垂直搜索引擎蜘蛛应该更加专业和可定制。Targetable采集和垂直搜索范围相关页面忽略不相关和不必要的页面，选择内容相关且适合进一步处理的深度优先采集，选择性页面调整更新频率。

　　垂直搜索引擎的索引数据趋向于结构化数据和元数据，结构化信息抽取技术将网页中的非结构化数据按照一定的要求抽取成结构化数据。有两种方式，一种简单的方式是模板方式，另一种方式是不依赖web，提取网页的结构化信息。这两种方式可以互相取长补短，以最简单、最有效的方式满足需求。垂直搜索引擎与一般搜索引擎的最大区别在于，它们在对网页信息进行结构化提取后，对结构化数据进行深度处理，提供专业的搜索服务。所以，

　　个人认为，做好深度挖掘，做好垂直搜索引擎，需要注意以下几点：

　　1. 高效且可扩展的信息检索器

　　作为垂直搜索引擎最基本的环节——信息爬虫（Crawler），为了满足垂直搜索的后续需求，信息爬虫必须能够智能地获取和制定网络数据，并返回一个详细的报告为后续分析提供参数。它必须实现良好的可扩展性，并提供各种规则过滤接口，以满足垂直搜索对特定领域的检索要求。

　　2. 模板智能生成与匹配，结构化数据抽取

　　作为垂直搜索引擎的重要组成部分，利用现有的智能学习方法和算法进行改进，研究智能模板生成、人工训练方法，研究网页的半结构化和结构化数据提取，实现去中心化的结构化数据还原、聚集。

　　3. 基于语义网、基于超链接的文本分类、定位采集

　　对于一个信息量巨大的网页库，即使是指定域的网页，仍然存在大量不相关且很少相关的网页。利用现有的超链接识别、信息提取和判断，结合网页文本的特征提取，可以获得文本信息。权重、主题相关性，实现快速定位采集，过滤掉不兼容的超链接和文档，为搜索者实现快速定位提供支持采集。

　　4. 后期分析提取数据，提供查询

　　在提取了大量结构化数据后，面对这些原创数据集，如何研究一些智能方法，进行数据重组、过滤提取，得到以前不存在但对用户有意义的数据信息，以及如何智能地为用户查询构建相关索引。