网络矿工数据采集软件【一孑工作室】官方网站

　　网络矿工数据采集软件【一孑工作室】官方网站

　　【基本介绍】

　　网络矿工数据采集software【Sominer】是一套采集专业采集用户的软件。基于Soukey采摘data采集软件的研发，扩展了更多的专业功能，不仅可以进一步满足采集用户的需求，还扩展了采集的应用范围。同时，【亿霸工作室】还为网络矿工data采集software提供专业的技术支持和售后服务。 【亿博工作室】将最大限度的保护您的软件使用利益。需要 Microsoft .NetFramework2.0 环境。

　　【软件功能】

　　1、Multitasking，多线程，支持一个任务运行多个实例；

　　2、 支持图片、Flash 和文件下载；下载不支持多线程处理，不建议使用本软件创建专业下载任务；

　　3、URL 配置支持参数自定义和外部字典参数；自定义的参数值可以通过字典的方式进行扩展；

　　4、支持Cookies，POST采集；可以记录cookies，采集网站需要登录的数据，或者采集可以手动登录；

　　5、 支持导航和自动翻页；可以进行网站导航，例如：通过新闻列表采集新闻内容；支持多层导航；

　　6、可采集Ajax 数据；

　　7、采集 临时存储数据，断点恢复数据采集；暂存数据格式为XML；

　　8、支持数据导出、文件、数据库；数据库支持Access、MS Sql Server、MySql，文件支持文本文件和Excel；数据导出支持手动和自动，手动导出只支持文件格式；

　　9.在线数据发布；支持在线数据发布，数据发布支持Cookie；

　　10、数据采集支持采集数据处理；可对采集数据进行替换、截取、追加等操作，可自动去除网页符号，支持常规规则；

　　11、支持任务规划；任务可以定时执行，最小间隔为：0.5小时；

　　12、支持任务触发；可触发Soukey拣选任务、数据库存储过程和可执行文件，支持采集完成和释放完成触发器；

　　13、 提供URL编码/解码工具；支持UTF-8、GB2312、GBK、Big5；

　　14、提供迷你浏览器；可用于捕获cookies和POST数据；

　　15、支持简体中文；

　　16、直接存入数据库； 采集的数据可以直接存入数据库。这样系统就可以采集亿数据而不影响系统性能。数据库支持Access、MS Sqlserver和MySql。

　　17、采集Data 多规则输出数据处理；对于采集data，可以应用多个数据处理规则。这个方法可以更灵活的采集需要的数据内容。例如：采集到文章之后，可以通过去掉网页logo的方式去掉原来的文章格式，然后替换字符串高亮需要显示的关键词或文章段落。此过程一次性完成，无需进一步数据处理。

　　18、提供数据处理模块；可以灵活修改采集数据的数据，调整表结构，然后进行数据发布操作。同时，该功能还可用于实现对外部数据的处理和发布。

　　19、 支持导航层分页；这个函数可以用来简化采集任务的配置，甚至所有的信息内容都可以通过一个入口地址采集传递。

　　20、支持采集data URL的自动输出；可作为内容参考和错误查找；

　　21、支持任务计划输出到同一个采集文件；可以作为数据增量采集;

　　22、支持数据合并；可应用于文章采集分页，自动合并成文章采集表单；

　　23、 提供采集rule 分析器；通过采集rule 分析器，您可以轻松检查采集rule 配置的正确性；

　　24、支持代理服务器；目前只支持HTTP代理；

　　25、增加导航提取范围；

　　26、添加自定义导航规则处理；大多数导航是通过可识别的Url进行的，但也有特殊情况，比如：是通过提交表单完成的，这种情况可以使用该函数实现导航规则的处理；