网站内容采集系统(优采云采集器(www.ucaiyun.com)网络数据/信息挖掘软件的配置)
优采云 发布时间: 2021-08-28 03:02网站内容采集系统(优采云采集器(www.ucaiyun.com)网络数据/信息挖掘软件的配置)
优采云采集器() 是一款专业强大的网络数据/信息挖掘软件。通过灵活的配置,您可以轻松抓取文本、图片、文件等任何资源。软件支持远程下载图片文件,支持网站登录后获取信息,支持检测文件真实地址,支持代理,支持采集防盗链,支持采集数据直接存储和仿人手动发布等诸*敏*感*词*特点。
基本功能
1、Rule 自定义-通过采集rule 的定义,您可以搜索所有网站采集 几乎任何类型的信息。
2、Multitasking,多线程——可以同时执行多个信息获取任务,每个任务可以使用多个线程。
3、所见即所得-任务采集process所见即所得。过程中遍历的链接信息、采集信息、错误信息等会及时反映在软件界面中。
4、Data Storage-Data Edge 采集边自动保存到关系型数据库,自动适配数据结构。软件可以根据采集规则自动创建数据库,以及其中的表和字段,或者通过引导数据库的方式灵活地将数据保存到客户现有的数据库结构中。
5、断点再采-信息采集任务停止后可以从断点恢复采集。从此,你再也不用担心你的采集任务被意外中断了。
6、网站Login-支持网站Cookie,支持网站可视化登录,即使网站登录时需要验证码也可以采集。
7、Scheduled tasks-这个功能可以让你的采集任务有规律的、定量的或者一直循环执行。
8、采集范围限制-可以根据采集的深度和URL的标识来限制采集的范围。
9、File Download-采集收到的二进制文件(如图片、音乐、软件、文档等)可以下载到本地磁盘或采集result数据库。
10、Result 替换-您可以根据规则将采集的结果替换为您定义的内容。
11、条件保存-您可以根据一定条件决定保存和过滤哪些信息。
12、过滤重复内容-软件可以根据用户设置和实际情况自动删除重复内容和重复网址。
13、特殊链接识别-使用此功能识别由JavaScript动态生成的链接或其他奇怪链接。
14、数据发布-您可以通过自定义接口将采集的结果数据发布到任何内容管理系统和指定的数据库。目前支持的目标发布媒体包括:数据库(access、sql server、my sql、oracle)、静态htm文件。
15、 保留编程接口-定义多个编程接口。用户可以在活动中使用PHP和C#编程扩展采集功能。
特点
1、支持网站所有编码:完美支持采集所有网页编码格式,程序还能自动识别网页编码。
2、多种发布方式:支持当前所有主流和非主流cms、BBS等网站节目,通过系统发布可以实现采集器和网站节目的完美结合模块。
3、Automatic:无人值守的工作。程序配置完成后,程序会根据您的设置自动运行,无需人工干预。