采集器(优采云数据采集系统详细解析-上海怡健医学())
优采云 发布时间: 2021-09-01 02:31采集器(优采云数据采集系统详细解析-上海怡健医学())
【总体介绍】从各种网站或网页轻松获取大量标准化数据【基础介绍】优采云数据采集系统基于完全自主研发的分布式云计算平台。短时间内,轻松从各种网站或网页获取大量标准化数据,帮助任何需要从网页获取信息的客户实现数据自动化采集、编辑、标准化、摆脱手动搜索和数据采集依赖,从而降低获取信息的成本,提高效率。 【软件功能】1.财务数据,如季报、年报、财报,包括每日最新净值自动采集;2.各大新闻门户网站实时监控,自动更新上传最新消息; 3.监控竞争对手的最新信息,包括产品价格和库存; 4.监控各大社交网络网站、博客,自动抓取对企业产品的评论; 5.采集最新最全的招聘信息; 6.关注网站、采集新房二房相关各大楼盘最新行情; 7.采集hand汽车网站具体新车二手车信息; 8. 发现并采集潜在客户信息; 9.采集工业网站的产品目录和产品信息; 10.在各大电商平台之间同步产品信息,做到一个平台发布,其他平台自动更新。 【日志更新】1、主要体验改进:【任务列表】新增“定时任务”过滤条件,可以过滤掉所有定时或非定时任务【任务列表】保存新增的栏目信息,完成后会保留下次登录【任务列表】新增“批量清除定时配置”功能【自定义模式】新增“自动重试”开关设置。对于特定的网页,可以关闭该选项加快采集【自定义模式】打开网页等待添加“随机1-30秒”选项后执行,以增强抗阻塞能力。 【简单模式】可提供反馈并提交所需模板。 [其他] 客户端支持手机号登录2、Bug 修复:自定义模式下修复,修复了元素列表和文本列表循环没有拆分问题。修复简单模式下的一些bug。修复任务列表。修复一些错误。修复代理IP的剩余量。客户端与网站不一致。修复定时失败问题。提高客户端登录的稳定性。