搜索引擎进行信息检索的优化策略方法( 《数据挖掘》课程期中作业：数据挖掘技术应用到搜索引擎领域,)

　　搜索引擎进行信息检索的优化策略方法(

《数据挖掘》课程期中作业：数据挖掘技术应用到搜索引擎领域,)

　　数据挖掘技术在智能搜索引擎中的应用

　　——《数据挖掘》课程期中作业

　　姓名：

　　学生卡：

　　专业的：

　　时间：

　　老师：

　　分数：

　　【摘要】 随着互联网的飞速发展，WWW上的信息增长速度越来越快，传统的搜索引擎已经不能满足用户的需求。将数据挖掘技术应用于搜索引擎领域，产生智能搜索引擎，将为用户提供高效、准确的网络搜索工具。文章 先介绍了搜索引擎的工作原理和相关概念，然后介绍了数据挖掘的概念。最后，详细讨论了数据挖掘技术在智能搜索引擎中的重要应用。

　　关键词：数据挖掘；搜索引擎; 网络挖掘

　　摘要:随着互联网的飞速发展和有价值的信息，历史搜索引擎已经不能满足人们的需求。结合数据挖掘和搜索引擎技术，形成智能搜索引擎，为用户提供

　　本文首先介绍了搜索引擎的理论和相关概念，然后介绍了数据挖掘的概念，最后详细讨论了数据挖掘在智能搜索引擎中的应用。

　　关键词：数据挖掘；搜索引擎；Web挖掘

　　1 简介

　　随着互联网和Web技术的快速发展和普及，信息获取已经从人工获取转变为计算机获取，再到通过网络获取信息。要在这个广阔的网络世界中找到您需要的信息，作为现代信息获取技术的主要应用——搜索引擎是必不可少的。根据CNNIC 2005年1月19日发布的统计数据，86.6%的用户通过搜索引擎获得了新的网站；搜索引擎应用占65.0%，成为第二大互联网应用，应用广度仅次于电子邮件。

　　搜索引擎的出现极大地方便了用户，但由于搜索引擎是从传统的搜索技术发展而来的，存在很多不足，例如：返回结果表示方法简单，逻辑运算符的组合有限，搜索历史不能被使用的信息等。在当前用户需求不断增加的情况下，仅仅依靠传统的搜索引擎已经不能满足人们的需求。例如，当我们进行搜索时，搜索结果中有大量无用信息，占比高达80%，而搜索引擎通常会返回上千条结果，而这些结果只是按照与查询的相关性由大到小排列成线性列表，缺乏清晰的结构，这些结果混杂着相关和不相关的信息，这使得我们仍然很难找到我们需要的信息。因此，人们总结出了所谓的《互联网信息检索法》：在互联网上总能找到（甚至只能找到）

　　不想要的东西 为了解决这些问题，进一步利用网络上的信息资源，人们开始研究信息获取方法，并提出了一些新的信息管理方法。网络挖掘就是其中之一。Web挖掘是指将传统数据挖掘技术与Web相结合的过程，是挖掘WWW上有趣的、潜在的、隐藏的信息和有用的模式的过程。在搜索引擎中应用Web挖掘可以改善搜索结果的组织性，提高准确率和召回率，加强对搜索用户模式的研究，优化搜索引擎。

　　2 搜索引擎概述

　　搜索引擎可以分为四个模块：搜索器、索引器、搜索器和用户界面。搜索者根据一定的网页采集策略和计划，调度运行网页自动搜索软件（如Crawl、Spider、追击、收获等），快速有效地采集互联网上的网页，并将其存储在网站的网页数据库中。搜索引擎中。常用的搜索策略有三种：根据提供的“*敏*感*词*网址”开始搜索；根据网站的流行度，规划一组网址，然后开始

　　搜索; 根据 URL 名称或国家/地区代码，将 Web 空间分成几个块开始搜索。索引器的作用是理解搜索器搜索到的信息，从中提取索引项，并用它来表示文档并生成文档库的索引表。索引器可以使用集中式索引算法或分布式索引算法。检索器的作用是根据用户的查询快速查询索引数据库中的文档，评估文档与查询的相关性，对输出结果进行排序，并实现一定的用户相关性反馈机制。常用的信息检索模型具有集合论的作用，即输入用户查询，显示查询结果，提供用户相关性反馈机制。分为简单界面和复杂界面两种。简单的界面只提供一个文本框供用户输入查询字符串，而复杂的界面允许用户限制查询。一个搜索引擎的好坏与以下几个因素有关：网页覆盖率、网页更新率、网页搜索速度、网页搜索质量。

　　3 数据挖掘概述

　　我们现在生活在一个网络时代，信息变化极其迅速。面对信息爆炸的时代，人们开始思考：“如何才能不被信息淹没，而是及时发现有用的知识，提高信息的利用率？”。面对这一挑战，数据挖掘（也称知识发现）技术应运而生，并显示出强大的生命力。

　　数据挖掘技术已经在商业数据、电信、医疗保险等领域得到应用，互联网的出现使其应用更加广泛。利用数据挖掘的原理，对网络数据进行深度挖掘，发现和组织网络知识，是将网络信息结合起来，将检索技术推向高度智能化的有效手段。于是，Web挖掘应运而生。Web挖掘是指将传统的数据挖掘技术与Web相结合，是挖掘WWW上有趣的、潜在的、隐藏的信息和有用的模式的过程。在搜索引擎中应用Web挖掘可以改善搜索结果的组织性，提高准确率和召回率，加强对搜索用户模式的研究，优化搜索引擎。

　　Web 数据挖掘一般可以分为三类：Web 内容挖掘、Web 构造挖掘和Web 使用挖掘。Web 内容挖掘是从 Web 文档的内容及其描述中获取有用的知识。就是挖掘网页数据，包括文档挖掘和多媒体挖掘。我们的文档通常收录以下数据类型：文本、图像、音频、视频、元数据和超链接。挖掘的主要对象是 HTML 文档中收录的半结构化数据和非结构化文本数据。Web结构挖掘就是从网页的超链接中发现结构和相互关系。通过找到隐藏在每个页面后面的链接结构模型，这个模型可以用来对网页进行重新分类，也可以用来找到类似的网站。Web结构挖掘可以对网页进行分类，总结网页和网站的结构，生成网站之间的相似度、网站之间的关系等信息。Web使用记录挖掘就是从用户的“访问痕迹”中获取有价值的信息，就是挖掘Web上的日志数据和相关数据。这些数据包括：客户端数据、服务器数据和代理数据。Web 使用记录挖掘可分为一般访问路径跟踪和专门跟踪。前者是利用KDD（Knowledge Discovery in Database，从数据库中获取知识）技术来了解一般的访问模式和趋势，比如Web日志挖掘；后者是分析某个 Web使用记录挖掘就是从用户的“访问痕迹”中获取有价值的信息，就是挖掘Web上的日志数据和相关数据。这些数据包括：客户端数据、服务器数据和代理数据。Web 使用记录挖掘可分为一般访问路径跟踪和专门跟踪。前者是利用KDD（Knowledge Discovery in Database，从数据库中获取知识）技术来了解一般的访问模式和趋势，比如Web日志挖掘；后者是分析某个 Web使用记录挖掘就是从用户的“访问痕迹”中获取有价值的信息，就是挖掘Web上的日志数据和相关数据。这些数据包括：客户端数据、服务器数据和代理数据。Web 使用记录挖掘可分为一般访问路径跟踪和专门跟踪。前者是利用KDD（Knowledge Discovery in Database，从数据库中获取知识）技术来了解一般的访问模式和趋势，比如Web日志挖掘；后者是分析某个 前者是利用KDD（Knowledge Discovery in Database，从数据库中获取知识）技术来了解一般的访问模式和趋势，比如Web日志挖掘；后者是分析某个 前者是利用KDD（Knowledge Discovery in Database，从数据库中获取知识）技术来了解一般的访问模式和趋势，比如Web日志挖掘；后者是分析某个

　　在每个用户的访问模式下，网站 会根据这些模式自动重建结构，例如自适应站点。挖掘Web使用记录的目的是预测用户的上网行为，比较网站的实际使用情况和期望值，根据用户的兴趣调整网站的结构。

　　4 数据挖掘在搜索引擎中的应用

　　当一个网页的作者建立了一个指向另一个页面的指针时，这可以看作是作者对另一个页面的认可。利用Web挖掘技术可以进一步完善搜索引擎的Web文档处理部分。在搜索引擎数据库中对网页进行索引时，可以利用数据挖掘中的文本汇总技术，从文档中提取关键信息，然后将Web文档中的信息以简洁的形式进行汇总或表示；同时，利用文本分类技术中的数据挖掘，根据预定义的主题类别对网页进行分类等。

　　在搜索引擎中建立字典库。当用户给出搜索条件时，利用人工智能中的自然语言处理技术对搜索条件进行分析。搜索引擎在数据库中找到对应的词库、相关词词典等辅助词典，进行匹配搜索，提高信息搜索的召回率。例如，如果用户要查找有关“计算机”的信息，搜索引擎会通过查找字典来扩展搜索条件，并将有关（计算机或计算机或微型计算机）的所有信息返回给用户。可以看出，加入同义词的概念，让用户更容易表达自己的兴趣，不仅准确，而且返回的结果更集中，并且不容易漏检。为了使搜索结果更符合用户的需求，在搜索引擎中建立了用户个性化信息表。您可以使用个性化页面服务技术来采集用户信息，个性化服务也需要用户编辑自己的显示界面，主动服务器分析这些设置并创建信息并将其添加到用户信息数据库中。新版本反映了用户的喜好，并将其作为个性化服务的基础。用户信息库中放置社交时尚信息、职业兴趣关联规则、年龄爱好关联规则等。然后使用一定的挖掘规则（如关联规则、聚类分析、在线分析挖掘、等）分析这些数据以预测用户兴趣和访问偏好。利用用户个性化信息库进行信息过滤，提高检测能力

　　电缆精度。当关键词发送给搜索引擎时，搜索引擎返回原创搜索结果，然后利用用户的个性化信息表挖掘出用户的兴趣，过滤原创搜索结果，然后发送用户的兴趣信息给用户。

　　搜索引擎在数据库中搜索匹配的网页时，通过网页内容挖掘分析网页的标题、关键词、URL等标签，自动对文档进行分类，提取重要信息形成文档摘要，使用户能够快速轻松地了解所搜索的信息。对搜索到的网页进行相关度计算，同时利用网页结构挖掘寻找权威网页，对搜索结果进行综合排序。假设我们要搜索有关给定主题的网页，例如金融投资页面。这时候，我们希望得到相关的网页，同时也希望检索到的网页是高质量的，即对主题具有权威性。. 权限（authority）隐藏在网页链接中。Web 不仅由页面组成，还收录从一个页面到另一个页面的超链接。超链接收录大量潜在的人工注释，有助于自动推断权威概念。采集不同作者对一个页面的评论，可以体现该页面的重要性，自然可以用于权威网页的发现。因此，大量的 Web 链接信息提供了有关 Web 内容的相关性、质量和结构的丰富信息。并且可以自然用于权威网页的发现。因此，大量的 Web 链接信息提供了有关 Web 内容的相关性、质量和结构的丰富信息。并且可以自然用于权威网页的发现。因此，大量的 Web 链接信息提供了有关 Web 内容的相关性、质量和结构的丰富信息。

　　使用 Web 结构挖掘来查找权威页面。

　　尽管如此，有时用户在进行搜索时，最终返回的结果中收录了很多与用户无关的内容，因为用户每次想要搜索的信息毕竟并不完全相同，例如：用户上次想搜索数据挖掘技术文章，这次想搜索数据挖掘应用文章，或者

　　下次要搜索数据挖掘软件等等。因此，需要对搜索引擎返回的结果进行聚类，使搜索引擎返回的超大文档列表中的过滤操作变得非常方便。这些集群是搜索引擎返回的文档集合的高级视图。用户对搜索引擎结果有清晰的感知，方便用户浏览。搜索引擎结果聚类技术本质上是为了方便用户的浏览，聚类技术用于信息检索结果的可视化输出。

　　5 结束语

　　在网络资源开发中引入数据挖掘技术可以加快智能检索的发展。数据挖掘的结果是实现智能检索的基础。在最近的一项先进技术调查中，数据挖掘和人工智能被认为是未来三到五年将对行业产生深远影响的前五项关键技术。在学习用户兴趣时，结合机器学习和模式识别等人工智能技术，研究更高效的学习算法是深入研究的重点。

　　参考：

　　[1] 陈翔，网站开发程序设计实践，清华大学出版社，2002

　　[2] 龙银祥, 基于移动计算的数据挖掘研究[J] 微机信息2005, 4:216-217

　　[3] Jason Bell 等，程序员参考手册，清华大学出版社，2002 年 5 月

　　[4] Scott Morley，《技术内幕》，人民邮电出版社，2002