内部信息源与外部信息源搜索引擎优化方法的异同(就是如何有效的搜索自己需要的信息？|用户体验)

　　内部信息源与外部信息源搜索引擎优化方法的异同(就是如何有效的搜索自己需要的信息？|用户体验)

　　【摘要】网络已经渗透到人们生活的方方面面，网络中的资源海量且非常丰富。接下来的问题是如何有效地搜索你需要的信息。从如此庞大的信息源中找到您真正想要的东西真的很困难。最有效的解决方案是通过搜索引擎找到需要的数据，可以帮助用户快速定位到想要查询的资源。目前的公共搜索引擎只能针对互联网，如google、百度、Bing等，对于企业内网等看似存在的数据源进行搜索不方便或不可能。这篇文章就是针对这种需求设计一个搜索引擎，可扩展至企业、学校内部网络，实现非结构化文档的内容检索。本文首先介绍了设计中的关键技术，Lucene、Ajax、服务器推送的需求以及这些技术是如何工作的。分析框架设计一个搜索引擎，然后在此基础上，主要有搜索机器人模块、索引模块和搜索模块三个模块，并描述三个模块之间的关系图，模块之间耦合度低。分析、设计和实现了三个模块。首先，搜索机器人模块是网络库和索引库的基础。高效灵活的数据采集将为数据库的建立铺平道路；其次，索引模块是高效数据检索的基础。文件内容索引和索引数据存储结构会直接影响搜索速度，进而影响用户体验。合理的设计很重要。在此基础上，系统使用了Lucene的倒排索引，比传统索引效率高很多。最后，搜索模块检索用户需要的数据，减少服务器端数据分页和*敏*感*词*传输，实现Google Suggest的Ajax效果，提升用户体验。最后文章总结了整个系统的设计和实现，以及未来的扩展，主要是如何使用基于MapRedue的分布式Hadoop库实现分布式爬取、索引和检索，