完整的采集神器(【技术实现步骤摘要】一种数据采集效果的实时检测和评估方法及系统)

　　完整的采集神器(【技术实现步骤摘要】一种数据采集效果的实时检测和评估方法及系统)

　　本发明专利技术公开了一种数据采集效果实时检测评估方法及系统，属于数据采集技术领域。本发明专利技术的数据采集效果实时检测评估方法，通过检测数据库中数据采集的值，判断数据的完整性采集，定期查询数据量，判断数据采集的增量，通过监控关键字段的数据类型判断数据采集的质量，提前设置预警值， 采集 的标准低 当达到警告值时，调用邮件服务发送邮件提醒。数据的实时检测与评估方法采集

　　一种数据采集效果实时检测评价方法及系统

　　下载所有详细的技术数据

　　【技术实现步骤总结】

　　一种数据采集效应实时检测与评估的方法及系统

　　该专利技术涉及数据采集

　　，具体提供一种数据采集效应的实时检测和评估方法和系统。

　　技术介绍

　　随着大数据时代的到来，对采集和数据的积累提出了更高的要求。同时，在线数据的采集作为数据积累的重要来源，迫切需要改进采集流程，提高采集速度，以保证准确性和真实性。数据的时间性质。当前数据采集技术方案呈现多元化趋势，数据来源越来越复杂。由于data采集的实时性和准确性要求，缩短data采集程序的评估时间不仅可以帮助开发者正确衡量采集进度和估计采集时间，也可以帮助管理者合理分配采集资源。所以，如何在最短的时间内有效地评估采集presentation的效率变得越来越重要。在目前的采集工具中，对应单一数据源时比较适合（网页模板比较固定，数据格式比较简单一)的采集要求，但是当网页结构比较复杂时，尤其是网站采用防破解策略时，数据采集往往不能按照预期的进度进行，给数据 采集 的工作。

　　技术实现思路

　　该专利技术的技术任务是针对上述问题，提供一种能够实时检测采集进度和完整性，并可以辅助人工判断采集准确率的方法，即方便开发者修正采集实时检测和评估程序或替换效果的方法采集程序数据采集。该专利技术的进一步技术任务是为数据采集的效果提供实时检测和评估系统。为实现上述目的，专利技术提供以下技术方案：一种数据采集的效果实时检测评估方法，该方法检测数据采集在数据库，并判断结果。采集的数据完整性，通过定期查询数据量，判断数据采集的增量，通过监控判断数据采集的好坏关键字段的数据类型，通过提前设置警告值，当采集标准低于警告值时，调用邮件服务发送邮件提醒。数据采集效应实时检测评价方法是基于数据采集效应实时检测评价系统实现的。通过检查数据库中数据 采集 的值来确定数据 采集 的完整性。通过定期查询数据量来确定数据采集的增量。采集 的质量 是通过监控关键字段的数据类型来判断的（通常是枚举类型字段，即数据值的类型是有限的）。通过提前设置警告值，当数据采集标准低于警告值时，调用邮件服务，发送邮件提醒。系统采用springBoot开发框架，基于微服务的思想。可以独立于项目软件运行，实现跨平台调用，也可以通过监控项目调用实现可视化操作。包括以下模块： 数据采集进度监控模块：用于监控数据采集的进度，通过分析采集数据增量，形成增量预测曲线，估计data采集的完成时间，data<

　　数据采集完整性监控模块：用于通过检测采集结果存储表中的值，完成数据采集完整性监控，以及数据采集完整性监控模块 中等数据采集完整性=采集非空值数据/采集数据总和。数据采集精度监测修正模块：通过监测字段值的类型，辅助人工判断采集质量，修正数据采集的结果值。告警值设置及邮件告警发送模块：用于传递预置数据采集的监控字段、告警值和完整性最小值。当数据 采集 的完整性低于警告值和最小值时，发送警报电子邮件。界面可视化模块用于实现多用户管理、权限管理和可视化操作。优选地，该方法具体包括以下步骤： S1、监控数据进度采集，通过分析采集数据增量，形成增量估计曲线，估计数据采集完成时间；S2、监控数据完整性采集，通过检查采集结果存储表中的值完成对数据完整性的监控采集；S3、数据采集精度监测与修正，通过监测字段值类型，辅助人工判断采集质量，修正数据结果值采集；S 4、警告值设置和邮件报警，预设数据采集完整性和警告值和最小值监控字段，当数据采集的完整性低于警告值和最小值时，将发送报警邮件。优选地，该方法还包括以下步骤： S5、界面可视化，实现多用户管理、权限管理和可视化操作。本项目配合基于SpringMVC框架的管理项目。权限管理和可视化操作。本项目配合基于SpringMVC框架的管理项目。权限管理和可视化操作。本项目配合基于SpringMVC框架的管理项目。

　　优选地，在步骤S1中，预先配置数据库信息并设置data采集完整性监控间隔，定期查询data采集结果，间隔时间段内数据的增量得到，并通过检查采集结果@采集分析数据增量，形成增量预测曲线来估计数据采集的完成时间。从第三阶段增量开始，通过比较当前阶段的数据增量和上一个时间段的增量，形成增量预测曲线，判断当前任务的健康度，准确估计数据< @k11@ > 完成时间。优选地，在步骤S2中，数据的完整性采集=采集 非空值的数据总量/采集数据总量。优选地，在步骤S3中，枚举类字段，通过监测字段值的类型，手动辅助采集的质量，提前修正采集的结果值。一个数据采集效果的实时检测与评估系统，系统包括以下模块： 数据采集进度监控模块：用于分析采集数据的增量形成一个增量估计曲线，估计数据的完成时间采集来监控数据的进度采集；数据采集完整性监控模块：用于存储表中的值，通过比较采集的结果进行检测，完成数据采集 完整性监控；数据采集精度监测修正模块：用于监测字段值类型，辅助人工判断采集质量，修正数据采集结果值；告警值设置及邮件告警发送模块：用于传递预置数据采集的完整性监控字段和告警值及最小值，当数据采集的完整性低于告警时值和最小值，发送警告电子邮件。

　　优选地，还包括界面可视化模块，用于实现多用户管理、权限管理和可视化操作。优选地，数据采集进度监控模块预先配置数据库信息并设置数据采集完整性监控间隔，定期查询数据采集结果，获取数据采集中的数据。间隔时间段 通过分析采集数据增量，形成增量预测曲线来估计数据采集完成时间。优选地，数据采集完整性监控模块中数据采集的完整性=采集非空值数据总量/采集数据总量. 与现有技术相比，该专利技术的数据实时检测评估方法采集效果具有以下突出的有益效果：数据实时检测评估方法采集效果可以最大限度地降低采集 的开发人员在监控采集 中的人力和时间消耗；利用采集曲线实现对采集进度的动态智能判断；使用采集曲线@>结果的采集、总结和反馈，可以有效地帮助开发者选择采集技术或者采集工具；同时可以有效判断采集结果的好坏，具有很好的推广应用价值。附图说明图。图1是专利技术中描述的一种数据采集效果实时检测和评估方法的流程图。具体实施方式下面结合附图和实施例对本专利技术的数据采集效果实时检测评估方法和系统进行进一步详细说明。示例如图1所示，该专利技术对数据采集效果的实时检测评估方法是通过检测数据采集@的值来确定采集的数据。 > 在数据库中。数据的完整性，通过定期查询数据个数，判断数据采集的增量，确定数据采集

　　具体包括以下步骤：S1、监控数据的进度采集，通过分析采集的增量数据形成增量预测曲线，估计数据的完成时间采集 。预先配置数据库信息并设置数据采集完整性监控间隔，定期查询数据采集结果，获取间隔时间段内数据的增量。分析形成增量预测曲线来估计数据的完成时间采集。从第三阶段增量开始，通过比较当前阶段的数据增量和上一个时间段的增量，形成增量预测曲线，判断当前任务的健康度，并且数据准确估计采集 完成时间。S2、监控数据采集的完整性，通过检查采集结果存储表中的值完成对数据采集完整性的监控。数据采集完整性=采集非空值数据/采集数据总和。S3、数据

　　【技术保护点】

　　1.一种数据效果实时检测评价方法采集，其特征在于：该方法检测数据库中数据采集的值，判断采集数据的完整性，通过定时查询数据个数，判断数据的增量采集，通过监控关键字段的数据类型，判断数据的好坏< @采集，通过预先设置警告值，采集当标准低于警告值时，调用邮件服务发送邮件提醒。

　　【技术特点总结】

　　1.一种数据效果实时检测评价方法采集，其特征在于：该方法检测数据库中数据采集的值，判断采集数据的完整性，通过定时查询数据个数，判断数据的增量采集，通过监控关键字段的数据类型，判断数据的好坏< @采集，通过预先设置警告值，采集当标准低于警告值时，调用邮件服务发送邮件提醒。2.根据权利要求1所述的数据采集效果实时检测评估方法，其特征在于：该方法具体包括以下步骤： S1、监测数据采集@ >进步，通过对采集数据增量的分析，形成增量预测曲线，估计数据采集的完成时间；S2、监控数据采集的完整性，通过测试采集结果存储表中的值，完成数据采集的完整性监控；S3、数据采集准确性的监测与修正，通过监测字段值Type，辅助人工判断采集质量，修正数据采集结果值；S4、警告值设置和邮件报警，预设数据采集完整性监控字段以及警告值和最小值，当数据采集完整性低于警告值和最小值，将发送警报电子邮件。3.根据权利要求2所述的数据采集效果实时检测评价方法，其特征在于：该方法还包括以下步骤： S5、界面可视化，实现多-用户管理、权限管理和可视化操作。4.根据权利要求3所述的数据采集效果的实时检测与评估方法，其特征在于：在步骤S1中，预先配置数据库信息，数据采集为设置完整性监控区间，对数据采集的结果进行定时查询，得到区间时间段内数据的增量，通过分析采集数据的增量形成增量估计曲线来估计Data 采集 完成时间。5.

　　【专利技术性质】

　　技术研发人员：王正培，

　　申请人（专利权）持有人：，

　　类型：发明

　　国家、省、市：山东，37

　　下载所有详细的技术数据 我是该专利的所有者