完整的采集神器(网络矿工数据采集软件(SoukeyMiner)功能特色介绍及应用)
优采云 发布时间: 2022-03-25 09:02完整的采集神器(网络矿工数据采集软件(SoukeyMiner)功能特色介绍及应用)
网络矿工数据采集软件(SoukeyMiner)是一款专业的数据采集软件,具有采集、编辑、发布、保存数据等功能,支持多任务多线程采集,可以有效的帮你采集各类数据网站,为你节省大量时间和精力,还支持网页数据提交,让你随时发布采集到的数据。对于那些统计大量网络数据的人来说,这是一款不可或缺的软件,需要的朋友快来下载吧。
特征
1、数据采集:
以data采集为核心,提供导航、多页面、代理采集、跨层采集、文件下载、编解码、参数配置等功能。 ,保证data采集能够应对各种复杂的采集配置需求;
2、强大采集能力:
支持各种编码和压缩采集,可以实现U码转换,HTML码转换,支持cookies,自定义HTTP Header,支持代理轮询,采集延迟等设置,支持各种Displacement,具备在断点处继续采矿;
3、可视化与智能:
全面支持可视化配置,从导航、翻页到数据采集规则,都支持可视化配置;
4、数据处理:
提供了多种字符串处理方法,可以在采集的同时进行数据处理,还提供了特殊的数据处理工具,可以进行数据表合并、列创建、数据格式化等方法。可以获得高质量的数据信息;提供OCR识别能力和图像水印功能;
5、数据发布:
数据可以发布到数据库(Access、mssqlserver、MySql),也可以直接发布到网站,还提供了直接存储方式,适应采集海量数据;
6、多种工具:
数据处理和发布工具、日志工具、HTTP嗅探器、编解码助手、常规分析器、配置助手,全面协助您完成配置工作;
7、插件支持:
支持.net插件,用户可以基于接口扩展自己的个性化功能,网络矿工提供cookie获取、数据处理和数据发布的接口操作;
8、其他:
支持灵活的定时采集策略、数据监控、静音操作等附加功能,既方便了用户采集的工作,又从数据的实用角度极大丰富了软件功能< @采集 应用程序;
当前版本为免费版,大家可以放心使用,免费版会限制部分功能!
网络矿工数据采集软件教程
1、创建采集类别,选择您要调查的类别。
2、Configuration采集任务需要认真填写,保证数据的可靠性。
3、运行采集 任务,可选择直接保存到数据库。
4、查看下载的数据,然后进行存储、发布等操作。
变更日志
网络矿工数据采集软件(SoukeyMiner)5.0 新功能:
1、支持扩展插件,支持三种插件:cookie获取、数据编辑和数据发布;
2、支持发布模板,可以通过创建的发布模板进行数据发布操作;
3、提供同义词替换和段落合并的数据编辑规则。