搜索引擎进行信息检索的优化策略方法(影响一个搜擎擎系统的性能和效率问题研究报告)

　　搜索引擎进行信息检索的优化策略方法(影响一个搜擎擎系统的性能和效率问题研究报告)

　　[摘要] 当前，随着互联网的普及和在线信息的爆炸式增长，信息检索系统及其核心技术搜索引擎的性能和效率成为研究和关注的焦点。影响搜索引擎系统性能的因素有很多，但最重要的是信息检索模型。通过对信息检索模型研究的主要内容和构建策略的描述，对相关问题进行探讨，并对信息检索模型进行总结。研究。

　　[关键词] 信息检索模型；关联;询问;搜索引擎

　　随着网络应用的不断普及，网络已经成为人们获取信息的重要场所。在探索和研究新的检索工具和检索技术的过程中，要克服当前网络信息检索给我们带来的困难，加强针对不同需求的信息采集和发送的智能化服务功能。

　　一、网络环境下信息检索的意义及特点

　　智能信息检索是在信息检索的基础上提出的。它是一种以用户为中心的信息检索技术，为不同的用户提供不同的服务，满足同一用户不同时间的需求。通过对用户信息的采集和分析，了解用户的兴趣和行为，并综合利用这些用户信息来提高信息检索系统的性能，满足用户的个性化信息需求。在具体实现过程中，主要是通过观察和分析用户的搜索行为来识别用户对信息需求的偏好，并可以根据用户对搜索结果的评价有意识地调整搜索策略，使不同的搜索请求有所不同所有用户都可以获得最贴近自己需求的信息服务。

　　数据量巨大。在网络环境中，数据量惊人。大量的数据会导致一些不可预测的软件异常，流量也将难以控制，每个环节的策略和算法的选择也会更加复杂。

　　多用户服务。多用户信息检索服务必须注重快速响应、支持并发访问、公共数据共享以及临时工作数据的清理。如果要为不同的用户开发不同的服务，就必须获取和管理不同用户的个性化需求，使大量信息主动通过不同渠道传递给用户。

　　用户级别复杂。网络环境下信息检索服务的用户大多不是专业用户。他们难以区分级别，操作技能和知识也各不相同。面对这些非专业用户，他们将需要更加人性化的引导信息。服务。

　　二、网络信息检索原理

　　随着信息技术的飞速发展，信息已成为全社会的重要资源。信息的掌握程度和信息处理的先进程度，已成为一个国家或地区现代化程度的重要标志。信息在更大程度上改变了人们的工作和生活方式。互联网是当今世界上规模最大、覆盖面最广、信息资源最丰富、发展最快的信息网络。基于Internet的网络信息检索研究对研究人员和一般用户都具有很强的实用性。和实用性。

　　网络信息检索工具是网络信息检索技术的物理体现。目前常用的网络信息检索模型包括布尔逻辑模型、模糊逻辑模型和概率模型。

　　1.布尔逻辑模型

　　这是一个简单常用的严格匹配模型。用户可以根据文档中检索项的布尔逻辑关系提交查询，搜索工具根据预先建立的倒排文档结构确定查询结果。标准的布尔逻辑模型是二元逻辑，搜索到的文档要么与查询相关，要么与查询无关。使用这种模型进行查询，查询结果一般不会根据内容的相关特征进行排序。

　　2.模糊逻辑模型

　　在查询结果处理中引入了模糊逻辑比较，将查询结果按照相关的优先级顺序排列，从而克服了布尔逻辑模型信息查询结果的混乱。

　　3.probability 模型

　　它是基于贝叶斯概率原理提出的。根据词条与文档的内在联系，利用词条与词条与文档的概率相关性进行信息检索。

　　三、网络信息检索系统主要功能模块

　　(一)Oracle 数据集成工具 (ODI)

　　ODI（Oracle Data Integrator）是一种数据集成中间件工具，它使用 ELT 概念来提取、加载和转换数据。它最大的特点是提出了知识模块的概念。 ODI使用Jvthon脚本语言结合数据库SQL语句，记录一些场景（如加载文件到数据库、从MySQL数据库抓取数据到Oracle数据库等）的详细实现步骤，形成知识模块。超过100个主流数据库引擎和应用系统的知识模块，基本收录了常见应用涉及的所有场景，因此ODI可以支持校园网中的多个异构数据库。在数据集成任务中，ODI 通过声明设计并使用接口和关系图等概念来分离集成的逻辑和技术方面来声明数据集成规则。基础技术方面由知识模块描述和定义。系统只需要关注以上集成任务规则的制定，再将制定的集成规则封装成服务模型。发布订阅这个模型可以实现类似数据增量和定期更新的功能。系统以全局数据库为核心，通过ODI工具对校园网异构数据库数据进行提取、转换、清洗和加载，综合数据质量得到提高，异构数据源的处理也得到加强。在数据处理过程中，提取信息的标题、作者、正文、发布时间、URL地址等字段，并定期增量更新各个异构数据库的数据，从而替代使用网络爬虫获取信息数据。 Oracle全局数据库可以整合校园网大部分信息发布系统的数据，提供给信息检索和检索模块。

　　(二)Lucene 和 Nutch

　　Lucelle 不是一个完整的搜索引擎，而是一个用于全文搜索的软件库。它是用 Java 语言开发的，并提供了一个搜索核心。它的设计原则是搜索和搜索。任何信息资源都需要转换为文本格式。可以找回。 Nutch是Lucene被广泛使用和认可后出现的搜索引擎系统。它内部使用了Lucene的搜索检索技术，进一步封装了网络爬虫、分布式处理等模块，成为一个完整的应用系统。本系统基于Nutch，既应用了Nuteh系统的完整性，减少了不必要的开发，又灵活地使用了Lucene接口，丰富了系统功能。

　　对于非结构化文本信息，系统采用Office文档POI插件方式，PDFBox插件阅读PDF文档，将上述插件集成到Nutch中。信息检索的基础是文本分析，文本分析很大程度上依赖于分词模块的语言处理。 Nutch自己的CJK分词模块在中文分词的效率和准确度上都不能满足实际需求。为此。在对比了JE分词、保定分词、ICTCLAS分词等各种中文分词模块后，本系统由于开源且分词效果好，采用保定分词，并通过Nuteh的插件集成到系统中在机制上。

　　(三)信息检索和检索

　　为了满足用户进行全网搜索、分类分类搜索信息的需求，提高搜索效率，信息搜索模块首先为每个数据源创建一个搜索文件，提供给分类搜索用户，然后通过优化搜索用户提供给全网搜索。优化检索是将多个检索文件合并为一个文件的过程。目的是减少检索文件的数量，减少搜索时读取检索文件的时间。 Nutch 中的 IndexWrite 类提供了一个优化方法来实现这个优化操作。 Nutch中的MultiSearcher类可以实现全网搜索功能进行优化搜索，搜索结果会按照指定的顺序进行组合。

　　根据校园网用户信息检索的特点。系统综合考虑信息相关性、时效性、访问量等因素后，采用自定义排序机制。文献文本相关性作为信息检索的主要排序依据，信息发布时间和访问次数是重要的排序因素。系统通过Lucene的激励因子boost值来改变文档的分数，从而调整文档的出现顺序。系统为校园网用户提供通用搜索和高级搜索功能。普通搜索可以在用户输入搜索信息的关键词后检索到需要的信息：高级搜索功能为用户提供了更详细的搜索条件，用户可以根据自己的需要进行更精细化的信息检索。系统管理功能除了对用户权限进行管理外，还对信息检索结果进行屏蔽和进一步处理。

　　四、网络信息检索的主要技术及相关技术

　　(一)信息检索服务的主要技术

　　网络信息检索通常使用搜索引擎技术，该技术是为了解决“信息跋涉”问题而提出的。它通过相应的算法在互联网上搜索相关信息，对信息进行组织和处理，为用户提供信息导航。

　　现阶段有很多在线搜索引擎。用户最常用的是谷歌、有道、百度等，这些搜索引擎可以进行网络信息检索、信息过滤、个性化信息服务定制等特色服务。但并没有实现真正意义上的智能检索。在实际的使用过程中，用户想要的不仅仅是有用的信息，还想成为信息消费的主人，让信息的搜索能够在相对活跃的环境中进行。

　　(二)智能信息索引相关技术

　　1.智能代理技术

　　智能代理也可以称为代理。它可以代表用户执行各种复杂的任务，如信息检索、筛选和排序，在没有明确和具体要求的情况下，根据用户的需求推断用户。意图自动制定、调整和执行工作计划。智能代理首先要建立个性化数据库，建立用户基本信息表（包括用户编号、用户名、姓名、年龄、性别等）和用户职业信息表（包括职业编号、职业类型、级别、标题）在数据库中。字段）和用户兴趣信息表（包括兴趣编号、兴趣类别、程度等字段）用于详细描述用户的个人情况。第一个字段可以设置为关键字。然后建立用户搜索策略表（包括策略数、策略控制、搜索词控制、搜索时间控制、搜索范围控制等）和用户搜索评价表（包括搜索次数、搜索时间、搜索词、搜索结果数） ，搜索完整率、准确率等字段）。同样，第一个字段设置为关键字。搜索策略表主要是为用户模型的搜索定义一个比较完整的搜索策略，搜索评价表主要是对用户搜索的满意度做一个简单的评价描述。

　　为用户提供个性化的数据库，一方面吸收了服务器端智能代理技术的思想，引入了个性化服务的概念，引入了用户反馈机制，完善了检索机制，提高了检索命中率。它还可以提供个人特殊搜索服务。另一方面，用于信息检索的智能代理主要集成在客户端，根据用户的兴趣完成搜索。它将对用户的信息需求和偏好进行区分、汇总和汇总，分析用户的兴趣爱好，并利用学习规则自动、独立地代表用户寻找用户感兴趣的信息。

　　2.用户兴趣挖掘技术

　　实现信息检索服务最重要的是分析用户的喜好和习惯。近来通常采用两种方法：一种是通过主动提供用户兴趣来获取用户的个性化向量；当用户没有明确参与时，系统通过观察用户的行为来获取用户的兴趣，从而获得用户的个性化向量。采用第一种方式，可以选择以下两种方式：一种是用户将自己感兴趣的信息或在线文档分类并提供给系统，系统从这些文档或信息中发现用户的兴趣；另一种是用户提供自己的研究方向和其他阅读爱好等信息，系统从这些信息中发现用户的兴趣。但是，由于用户的兴趣不是一成不变的，用户一般不可能提供所有的兴趣和兴趣程度，所以需要用第一种方法来补充。第二种方法是根据用户在推送页面上的评价信息更新用户的个性化向量。

　　随着信息技术的进一步发展，信息检索技术将更加完善，将在人与信息之间架起一座便捷的桥梁。虽然我们取得了一些成绩，但路还很长。要真正实现信息搜索的智能化服务，还需要进一步提高代理技术的智能性、主动性和自主性。

　　参考文献：

　　[1]赵刚．网络环境下的信息检索研究[J].内蒙古科技经济,2010,12.

　　[2] 黄少林，王华，张玉红，蒋一峰。基于Lucene的检索系统的设计与实现[J].现代信息,2009,29.

　　[3]陈伟，阮海红.网络环境下的信息检索与数据挖掘技术[J].现代信息,2009,5.

　　[4] 邱哲，付涛涛，王学松。开发自己的搜索引擎 Lucellc + Heritrix[M].北京：人民邮电出版社，2010.