采集内容插入词库(百度、Google搜索结果翻了十几页，怎么这么多跟我不相关的结果出来？)

　　采集内容插入词库(百度、Google搜索结果翻了十几页，怎么这么多跟我不相关的结果出来？)

　　百度、谷歌搜索结果翻了十几页，为什么会出现这么多不相关的结果？从网页采集的角度来看，需要保证信息源的相关性和准确性。使用互联网主流资源网站作为网页的主要来源采集；与成熟的博客、论坛垂直搜索引擎（如奇虎、大旗）合作，建立本地WEB资源库；针对指定投诉网站的评论信息，精准定位采集。从网页分析的角度来看，不仅要提取网页的标题和文本，还要根据需要提取时间、来源、作者和具体内容。在索引和检索方面，全文索引可以支持全文检索和精准检索，并根据需要提供多种结果排序方式。外网搜索 D. 可根据个人喜好设置搜索关键词，从而专注于特定内容。（初始关键字由管理员设置；） D.搜索关键字可根据个人喜好设置，以专注于特定内容。（初始关键字由管理员设置；） 恢复初始关键字A，支持在本地资源库中实时搜索。A. 支持本地资源库中的实时搜索。B.系统推送互联网最新最热信息 B.系统推送互联网最新最热信息 C.系统推送互联网分类信息 C.系统推送互联网分类信息，搜索结果更精准！更精准的搜索结果！简单方便的爬虫，一个采集任务可以定义采集多个网站！简单方便的爬虫，一个采集任务可以定义采集多个网站！爬虫管理员可以创建、修改和删除 采集 任务。

　　仅在本地保存来自 采集 的页面标题、文章 摘录和 URL 爬虫。管理员可以创建、修改和删除采集 任务。只在本地保存采集中的页面标题、文章摘录和URL配置采集策略：爬虫管理员可以自定义爬取目标网站，定义爬取频率，定义默认关键字. 自定义关键字：不同用户可以根据自己的喜好约定关键字供个人使用，搜索结果由搜索模块返回显示。输入查询条件：前端提供用户界面，用户可以向Web应用服务器提交搜索请求，然后通过用户界面显示搜索结果。网页 采集 模块：负责定期抓取指定的WEB页面到服务器。使用开源 Heritrix 实现。网页分析模块：负责解析提取网页的主要数据，包括标题、摘录、发布时间、链接地址等，使用htmlparser实现。API 实现。搜索模块：是系统与用户交互的模块。系统根据用户输入的查询语句，负责在数据库和索引文件中查找出相应的数据，并按照一定的顺序反馈给用户。使用Lucene提供的API来实现。更亲密，更有效、更快捷地为不同用户提供导航地图及时掌握关键网络信息进一步提高信息检索水平，提高EPB用户的网络检索效率系统空闲时运行采集和分析，占用更少的系统资源。对网页信息进行结构化信息抽取，建立索引文件库，支持用户高性能检索需求。

　　显式搜索定位，仅 采集 用户指定的与特定主题相关的页面。由于该领域的规模较小，召回率和准确率大大提高。设计一种检索算法，根据检索结果被查看的频率对检索结果进行排序。单个搜索引擎的搜索覆盖率一般在30%以下，无法检索到大量动态页面。该应用程序可以分析和检索指定地址的任何动态网页、论坛、博客、消息等。可以针对不同的目标网站设置不同的爬取频率，这样就不会漏掉关键信息。用户可以自定义关键字（或使用爬虫管理员预设的关键字）查看网络信息。Heritrix1.14 HtmlPaser1. 如ictcals、JE、paoding、CJK等，是影响检索最终性能的关键因素。本项目选用Lucene的API：CJK。因为它具有词库丰富、可定制的分词粒度等特点。