网络信息采集系统的需求分析
优采云 发布时间: 2020-08-08 03:58物联网信息采集系统需求分析杨艺职业技术学院的杜素芳说: “小米使用浏览器手动复制粘贴来实现信息采集,效率低下,错误率高. 率. 如果采集的信息量很大,则根本无法完成手动方法. 利用信息采集系统来实现信息的采集和处理是解决问题的较好方法. 要求概述开发信息采集系统的目的是使用户能够自动并定期从多个指定的网站采集文章信息,包括文章标题,正文,作者,时间,来源等,并按类别存储信息以满足信息重用的目标. 信息采集程序无法预测和获取用户的准确需求,因此系统应为用户提供一个提交需求的平台,通过该平台用户可以及时提交采集任务,并告知采集系统要采集哪些数据. 信息采集系统分为采集配置和采集两个子系统. 生成. 定制的去噪和重复数据删除规则. 从网页获得的大量信息中,可能有用户不需要的信息,也可能有重复的内容. 这些信息和内容将干扰提取内容的排版和使用,并且需要对此类信息进行去噪处理. 重复处理. 启动和停止采集任务. 采集任务可以及时启动和停止. 配置采集任务后,可以将其添加到采集子系统中,以便及时采集信息.
如图所示,信息采集系统采集配置子系统采集子系统采用自定的采掘,运动系统,集中式运行,并作为噪声的集中控制系统. 然后只有地图信息采集系统组成采集配置子系统才能满足普通用户提交的采集要求. 用户通过子系统配置目标信息采集任务,包括文章的发布状态,站点名称和地址,其所属的列,采集时间和采集规则. 采集配置子系统还可以及时启动和停止采集任务的执行. 采集子系统完成特定的信息采集工作. 它根据采集配置子系统的采集任务设置自动采集,提取和重复数据删除网站信息,从网页中提取大量非结构化信息并将其保存到结构化数据库中. 功能要求图中显示了信息采集系统的功能. 采集配置子系统主要完成以下功能. 采集任务管理实现用户对采集任务的添加,删除,修改和检查. 每个采集任务对应于一个现有列,以实现采集内容的分类,处理和存储. 自动生成提取规则. 当用户选择数据采集项时,系统可以自动,智能地生成相应的数据提取规则. 当配置页面改变时,需要在中文图书馆分类编号地图信息采集系统功能*敏*感*词*采集子系统中更新提取规则,主要完成以下功能来动态采集信息. 用户对新闻信息等Web信息的及时性要求很高. 如果不能及时将数据反馈给用户,那么即使是高价值的信息也会失去其意义和价值.
因此,动态采集信息非常重要. 该系统应具有动态采集机制,以定期自动检测网站内容并及时获取网站上的最新信息. 操作监视由于信息采集过程是动态运行的,因此系统应及时监视采集任务的操作. 如果信息采集存在问题,系统应及时发现并反馈给用户,用户将根据问题的类别进行处理. 非功能性要求除了满足信息采集的功能性要求外,系统还应满足用户的以下非功能性要求. 准确性如何从浩瀚的复杂信息中准确获取用户所需的信息是系统设计中的关键考虑因素. 用户只有通过准确获取信息,才能重新使用有效信息. 下一页》》》》》》》物联网日常应用系统平台数据接口子系统该子系统是处理物联网应用平台和网关的接口,可以发送和接收各种传感器数据,并可以接受