[智能模式] [流程图模式]如何配置采集任务
优采云 发布时间: 2020-08-08 02:18在编辑任务界面中,单击右下角的“开始采集”按钮,跳至任务开始界面,我们可以在其中配置任务.
1. 定时开始
定时启动功能包括循环采集和定时采集. 周期性采集是按照固定的时间间隔(从上一个任务的停止到下一个任务的开始)周期性地启动采集任务. 定时获取将按照设置的时间周期循环. 开始采集任务.
有关更多详细信息,请参阅以下教程:
如何设置时间采集
2. 明智的策略
智能策略设置包括代理设置,智能切换设置和手动切换设置. 有关更多详细信息,请参阅以下教程:
如何设置智能策略
3,自动导出
使用此功能,您可以在数据采集过程中将采集到的结果自动导出到本地文件和数据库,而无需等待任务运行并手动导出数据.
有关更多详细信息,请参阅以下教程:
如何设置自动导出
4. 文件下载
该软件支持在采集过程中下载文件. 文件类型包括: 图片,音频,视频,文档和其他文件. 用户可以选择保存路径并创建独立的文件夹,也可以根据规则重命名下载的文件.
有关更多详细信息,请参阅以下教程:
如何设置文件下载
5,加速引擎
加速引擎功能可以加速采集任务. 加速效果与网页加载速度和采集任务的设置有关,通常可以达到3到10倍的加速效果.
有关更多详细信息,请参阅以下教程:
如何使用加速引擎
6. 重复数据删除
重复数据删除功能是在任务采集过程中将当前采集的数据与采集的数据进行比较. 如果发现数据重复,则会根据设置的条件进行处理.
当前任务中保存的数据越多,重复数据删除比较过程将越慢. 因此,启用此功能将减慢采集速度. 请谨慎使用.
有关更多详细信息,请参阅以下教程:
如何设置重复数据删除
7. 开发者设置
优采云采集器支持Webhook功能. 通过使用此功能,优采云采集器可以将采集的数据发布到HTTP地址.
有关更多详细信息,请参阅以下教程:
如何设置Webhook功能