合作智能采集器(Soukey采摘正式更名为网络矿工采集器开源版网络开源版自)
优采云 发布时间: 2022-03-24 20:22合作智能采集器(Soukey采摘正式更名为网络矿工采集器开源版网络开源版自)
软件介绍
Soukey Picking网站Data采集软件是基于.Net平台的开源软件,也是网站Data采集中唯一的开源软件软件类型。 Soukey虽然选择开源,但不会影响软件功能的提供,甚至比一些商业软件的功能还要丰富。 Soukey Picking目前提供的主要功能如下:
1.多任务多线程数据采集,支持POST方式;
2.可以采集Ajax页面;
3.支持cookies,支持手动登录采集data;
4. 支持 采集 事务;
5.支持自动和手动数据导出,导出格式有:文本、Excel、Access、MSSql、Mysql等;
6.支持数据在线发布;
7.支持采集个导航URL,导航深度不限;
8.支持自动翻页;
9.支持文件下载,可以采集图片、Flash等文件;
10. 支持采集结果数据的处理,包括替换、加前后缀、截取等操作,支持正则化;
11. 采集URL定义不仅支持基本参数定义,还支持外部字典数据作为URL参数进行数据采集;
12.支持一个任务的多实例运行;
13.提供定时任务,支持Soukey采集任务、外部可执行文件任务、数据库存储过程任务;
14.定时任务执行周期支持每日、每周和自定义运行间隔;最小单位是半小时;
15.支持任务触发,可以在采集任务完成后自动触发其他任务(包括可执行文件或存储过程)的执行。
16.完整的日志功能:系统日志、任务执行日志、错误日志等;
17.系统提供MINI浏览器,可用于抓取cookies或POST数据;
搜键采摘不限制是否可以将此软件用于商业用途,源代码完全开放,
================================================ ==========
Soukey Picking 正式更名为 Network Miner采集器开源版
网络矿机的开源版本从2010年开始就没有开发过,所以重启了开发计划,仍然是开源的。最新代码还在sourceforge上,感兴趣的朋友可以参与进来。