网站数据采集软件

优采云 发布时间: 2020-08-06 15:07

  NETSpider网站数据采集软件是基于.Net平台的开源软件.

  该软件的某些功能由基本的Soukey软件开发. 此版本是使用VS2010 + .NET3.5开发的.

  NETSpider选择当前提供的主要功能如下:

  1. 多任务和多线程数据采集,支持POST模式(待定);

  2. 可以采集Ajax页面;

  3. 支持Cookie,支持手动登录采集数据;

  4. 支持托收事务;

  5. 支持自动和手动数据导出,导出格式为: 文本,Excel,Access,MSSql,Mysql等;

  6. 支持在线发布数据;

  7. 支持导航URL的采集,导航深度不受限制;

  8. 支持自动翻页;

  9. 支持文件下载,可以采集图片,Flash等文件;

  10. 支持处理采集的结果数据,包括替换,附加前缀和后缀,拦截等操作,并支持正则化;

  11. 采集URL定义不仅支持基本参数定义,而且还支持将外部词典数据作为URL参数进行数据采集;

  12. 支持一项任务的多实例运行;

  13. 提供计划的任务,这些任务支持NETSpider采集任务,外部可执行文件任务,数据库存储过程任务(仍在开发中);

  14. 计划任务的执行周期支持每天,每周和自定义运行时间间隔;最小单位是: 半小时;

  15. 支持任务触发器,可以在获取任务完成后自动触发其他任务(包括可执行文件或存储过程)的执行.

  16. 完善的日志功能: 系统日志,任务执行日志,错误日志等;

  17. 该系统提供了一个MINI浏览器,可用于捕获cookie或POST数据;

  NETSpider采集器并不限制您是否可以将该软件商业化,源代码是完全开放的,

  ===================以下是更新的内容======================= == ==========

  1. NETSpider将于2014年10月1日开放

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线