采集规则 采集 data-src(网络矿工数据采集软件-一孑工作室)

　　采集规则 采集 data-src(网络矿工数据采集软件-一孑工作室)

　　网络矿工数据采集软件【Sominer】是一套面向采集专业用户的采集软件。它是在苏基拣货数据采集软件的基础上研发而成的，在此基础上进行了扩展更丰富的专业功能，不仅可以进一步满足采集用户的需求，还扩大了采集的应用范围。 @采集。同时，【亿博工作室】还为网络矿工数据采集软件提供专业的技术支持和售后服务。【亿博工作室】将最大限度的保护您的软件使用利益。

　　【软件功能】

　　1、多任务，多线程，支持一个任务运行多个实例；

　　2、支持图片、Flash和文件下载；下载不支持多线程处理，因此不建议使用本软件创建专业的下载任务；

　　3、URL 配置支持参数自定义和外部字典参数；自定义参数值可以通过字典方式进行扩展；

　　4、支持Cookie、POST采集；可以记录cookies，采集网站需要登录的数据，也可以手动登录采集；

　　5、支持导航，自动翻页；可以进行网站导航，例如：通过新闻列表采集新闻内容；支持多层导航；

　　6、可以采集ajax数据；

　　7、采集 临时存储数据，断点恢复数据；临时存储数据格式为 XML；

　　8、支持数据导出、文件、数据库；数据库支持Access、MS Sql Server、MySql，文件支持文本文件和Excel；数据导出支持手动和自动，手动导出仅支持文件格式；

　　9. 在线数据发布；支持在线数据发布，数据发布支持Cookie；

　　10、Data采集支持采集数据处理；可以对采集数据进行字符串替换、截取、追加操作，可以自动去除网页符号，支持常规规则；

　　11、支持任务规划；任务可以定时执行，最小间隔为：0.5小时；

　　12、支持任务触发；可触发Soukey拣货任务、数据库存储过程和可执行文件，支持采集完成和释放完成触发器；

　　13、提供URL编码/解码工具；支持UTF-8、GB2312、GBK、Big5；

　　14、提供迷你浏览器；它可用于捕获 cookie 和 POST 数据；

　　15、 支持简体中文；

　　16、直接进入数据库；采集的数据可以直接存入数据库。这样系统就可以采集数亿的数据而不影响系统性能。数据库支持Access、MS Sqlserver 和MySql。

　　17、采集数据输出数据多规则处理；对于采集 数据，可以应用多个数据处理规则。通过这种方法，你可以更灵活地采集 获得所需的数据内容。例如：在采集到文章之后，可以通过去掉网页logo的方式去掉原来的文章格式，然后替换字符串高亮你需要的关键字或者文章显示@> 段落。这一过程一次性完成，不需要进一步的数据处理。

　　18、提供数据处理模块；可以灵活修改采集的数据，调整表结构，然后进行数据发布操作。同时，该功能还可用于实现对外部数据的处理和发布。

　　19、支持导航层分页；这个函数可以用来简化采集任务的配置，甚至所有的信息内容都可以通过一个入口地址采集来传递。

　　20、支持采集数据URL的自动输出；可作为内容参考和错误查找；

　　21、 支持任务计划输出到同一个采集文件；可以作为数据增量应用采集；

　　22、支持数据合并；可以应用于分页文章采集，自动合并为采集形式的文章；

　　23、提供采集规则分析器；通过采集规则分析器，可以方便的检查采集规则配置的正确性；

　　24、支持代理服务器；目前仅支持 HTTP 代理；

　　25、 增加导航提取范围；

　　26、添加自定义导航规则处理；大多数导航是通过可识别的Url进行的，但也有特殊情况，比如：是通过提交表单完成的，这个功能可以用于这种情况下导航规则的处理；