www.ucaiyun.com(网络数据采集器)V9.91正式版软件下载
优采云 发布时间: 2020-08-09 02:005. 采集测试: 这是同类其他采集软件所无法比拟的. 该程序支持直接查看采集结果和测试版本.
6. 方便的管理: 使用站点+任务模式来管理采集节点,任务支持批量操作,无论进行多少数据管理,都很容易.
应用程序功能
1. 强大的*敏*感*词*性
无论新闻,论坛,视频,黄页,图片,下载网站如何,只要可以通过浏览器看到的结构化内容,通过指定匹配规则,就可以采集所需的内容.
2,稳定高效
五年磨一剑,软件不断更新和完善,采集速度快,性能稳定,资源少.
3. 强大的可扩展性和广泛的应用范围
自定义Web发布,自定义主流数据库的保存和发布,自定义本地PHP和.net外部编程接口以处理数据,以便您可以使用这些数据.
基本功能
1. 规则的自定义-通过采集规则的定义,您可以搜索所有网站以采集几乎任何类型的信息.
2. 多任务,多线程,多个信息采集任务可以同时执行,每个任务可以使用多个线程.
3. 您所看到的就是您所得到的-您所看到的就是您在任务采集过程中所得到的,并且在此过程中遍历的链接信息,采集信息和错误信息将及时反映在软件界面中.
4. 数据存储数据在采集时会自动保存在关系数据库中,并且数据结构可以自动调整. 该软件可以根据采集规则自动创建数据库以及其中的表和字段,或者可以由数据库灵活地指导将数据保存到客户现有的数据库结构中.
5. 在断点处继续采集-停止后,可以继续从断点采集信息采集任务. 从那时起,您不必担心采集任务会意外中断.
6. 网站登录-支持采集网站Cookie和可视网站登录,甚至可以采集登录时需要验证码的网站.
7. 计划任务-此功能可让您定期,定量或循环执行采集任务.
8. 采集范围的限制-可以根据采集的深度和网站徽标来限制采集范围.
9. 文件下载-您可以将采集的二进制文件(例如图片,音乐,软件,文档等)下载到本地磁盘或采集结果数据库中.
10. 结果替换-您可以根据规则用定义的内容替换采集的结果.
11. 条件保存-您可以根据特定条件决定要保存和过滤哪些信息.
12. 过滤重复内容-该软件可以根据用户设置和实际情况自动删除重复内容和重复URL.
13. 特殊链接识别-使用此功能可以识别由JavaScript动态生成的链接或其他怪异链接.
14. 数据发布-可以通过自定义界面将采集到的结果数据发布到任何内容管理系统和指定的数据库中. 当前支持的目标发布媒体包括: 数据库(访问,SQL Server,我的SQL,Oracle),静态htm文件.
15. 保留的编程接口-定义多个编程接口,用户可以在事件中使用PHP,C#语言进行编程,扩展采集功能.
更新内容:
为辅助代理服务器添加了袜子代理
在任务运行过程中,您可以修改线程数和其他参数,实时调整运行速度,并添加功能以检查任务运行的当前速度和总体速度
支持SSH(SFTP文件)上传
用于内容提取的新JSON提取方法使提取JSON数据更加容易
C#源代码文件插件被添加到插件编辑器中,类似于PHP源代码插件,它在编辑后直接生效,但是比PHP源代码插件支持更多的插件接口. 在
软件崩溃并支持保存未完成的任务的进度
新消息机制
V9合并了采集URL和内容的方法,使用不同的队列进行列表采集和内容采集,优化了采集过程,并将更新数据内容的方法从“更新”更改为“插入”,从而极大地提高了采集和存储的速度;
作业运行被合并到一个统一的界面中,添加了“实时数据”查看和“任务详细信息”统计信息;
修改了原创的无限级列表页面URL获取模式,以简化无限级配置操作;
字段可重复性比较功能不再使用数据库的独特方法,而是更改为内存Md5_16比较,从而更加准确;
标记数据的来源更加详细,可以设置为从源代码,URL地址以及默认页面,分页和多页面的返回标头信息中提取.