阿里云技术专家郝晨栋：云上可观测能力，问题的发现与定位实践
采集交流 • 优采云 发表了文章 • 0 个评论 • 216 次浏览 • 2022-08-17 18:55
阿里云技术专家郝晨栋：云上可观测能力，问题的发现与定位实践
凌云时刻
在7月初举行的「可观测，才可靠——云上自动化运维CloudOps系列沙龙第一弹」，阿里云弹性计算技术专家郝晨栋分享了《云上可观测能力：问题的发现与定位实践》本文根据其演讲内容整理而成。云服务器可观测能力价值
云服务器可观测性是指客户能够感知到服务器内部运行情况的能力，从而保证云上资源的可靠性。
与传统 IT 运维相比，上云 IT 的使用方式和运维方式发生了一些变化。比如，传统 IT 运维场景下，客户会自购机房、自购机器，操作的是硬件资源；而上云后，客户通过 OpenAPI 操作各种计算资源。同时，传统场景下，业务规模受限于机房或物理机；而得益于云上的弹性能力，客户能够轻松将业务规模扩大到上百台或上千台服务器。
上云后的运维也增加了诸多挑战和难度，需要云服务器的可观测性来解决。云服务器可观测的价值主要有以下三点：
阿里云针对提升云服务器的可观测能力提供了很多主流工具集，包含健康诊断、系统事件、云监控、ARMS 和操作审计。这些工具虽然定位和角度不一样，但其目的都是一致的，即为了让客户清晰感知到当前实例的健康状态，帮助快速发现问题，降低运维成本。使用自服务工具定位和分析典型问题
自服务工具 On-demand self-service 指用户能够自助获取计算资源或服务，而不必与服务供应商打交道。客户在云上经常面临的典型问题有比如实例无法启动、实例无法连接、操作不生效等。传统场景下，客户只能提交工单寻求售后支持，问题解决速度取决于客服对问题的理解程度或回复效率。而在自服务场景下，我们将典型的客户问题全部收纳到健康诊断工具集里，客户可以在控制台上自助发起诊断，进行问题解决，只需分钟级即可定位问题。
实例无法启动一般有两方面原因：
实例无法启动的情况下，阿里云诊断工具如何实现对实例操作系统内部的探测？以个人电脑操作系统为例，比如个人电脑坏了以后，通常会使用 U 盘作为修复盘，启动时进行调整，启动 U 盘再进行重装系统或修复，最后将修复盘卸载，电脑即可正常启动。诊断工具的工作原理类似，如上图左下方所示。如果客户操作系统无法正常启动，诊断工具会为客户挂载一块修复盘，并且会生成用于登录修复盘的临时密码等。修复盘挂载好以后，自动为客户启动实例，原先的系统盘会作为数据盘挂在现在的实例下，然后进行实时探测。如果发现问题，会给客户推荐具体的修复方案，客户可以根据修复方案解决问题。原先系统盘内的问题解决以后，将修复盘卸载，即可正常启动，整个流程对客户完全透明。
实例无法远程链接主要原因为 ECS 两个服务器之间无法连通以及 ECS 实例与公网 IP 无法连通。诊断工具支持三种类型输入，可以选择 ECS 实例、网卡或公网 IP。诊断工具会列出发起端和目的端之间的关键路径，比如实例账户本身状态、实例操作系统、当前实例所在交换机等关键路径，依次探测每个关键路径是否连通，最终得出结论。关键路径可以分为两大类，实例配置类和操作系统内配置。其中，实例配置类包括实例欠费、Vswitch 未放行流量、实例被锁定等；操作系统类主要借助云助手实时下发开源诊断命令，如果发现操作系统内存在问题，则会在修复方案里告知用户。网络连通性诊断报告里会显示无法连通的关键路径及其原因。
实例变更操作不生效指客户在控制台上做了一些变更，但结果与预期不符。这一类的问题难度较大，变更动作非常多，没有生效的原因也非常多。目前自服务诊断工具已经支持的诊断能力有云盘扩容未生效、重置密码不生效、实例变配不生效以及实例续费失效。比如客户云盘超过容量，在控制台上做了扩容，从 40G 扩容到 100G 。控制台上已经显示为 100G，但依然需要客户进入 OS 里做一些扩容命令才能真正生效，否则会导致业务受损。诊断工具有专门针对云盘扩容的专项诊断，如果发现客户实际生效磁盘与扩容大小不一致，会给用户推送扩容建议，避免客户业务受到损害。还有一类实例变更操作不生效是由于客户对产品规则不熟悉导致，诊断工具会给客户推送现在的产品规则。
上述典型问题都需要依靠客户在控制台上主动发起诊断，属于被动服务。而自服务能力背后的主动探测工具是对账系统。如果客户在云上使用的服务与实际运行的不一致，则会影响业务。因此，可以通过对账工具来保证客户在控制台上看到的与实际运行值一致。比如会比对控制台上客户看到的 IP 与实际 IP 是否一致等。通过客户主动发起诊断，再加上自服务工具背后的主动服务，来确保客户可观测到的数据与实际运行一致。下图为自服务诊断工具的诊断能力总览和用户场景。
诊断能力主要分为两大类，分别是问题排查和规则类。问题排查类又细分为操作系统和云平台类，目前已有大约 80 多种诊断能力；产品规则类目前已经提供了 30 多种能力。
阿里云平台诊断分析依赖于阿里云底层的数据采集。阿里云在全球有接近 30 多个地域、上百个可用区，每时每刻都有实时数据被采集上来，比如物理机、IDC 有机房、操作性能、串口日志等。这些基础日志是健康诊断工具的输入，有了这些底层数据，诊断才能做数据清洗、聚合计算、抽取与异常相关的特征，最后产出诊断根因。另一部分诊断能力与操作系统内客户的关系较为密切，通过在实例内安装云助手服务实现。客户发起诊断时，通过云助手在客户实例上执行开源脚本，进行实时数据收集，包括负载类和配置类，比如实时探测当前客户 OS 内的 CPU 、内存、 iOS 等负载类，或 DHCP、 IP 等配置类。阿里云平台诊断和操作系统内诊断两大能力共同组成了健康诊断服务。目前健康诊断服务已经输出到控制台上供云客户使用，也输出到内部给云产品使用，近期也将推出 OpenAPI。集成诊断实现自动化运维
对于没有自己运维平台的中小型客户，我们推荐直接在控制台上使用诊断产品，既方便又快捷，诊断产品还提供了诸多详细方案供客户参考。对于有自己运维系统的中大型用户，建议通过API的形式集成到自己的运维系统中，高效便捷。比如可以将监控系统与诊断做整合，监控系统发现实例负载不正常时，会直接调用诊断 API 并根据诊断结果做处理；可以将诊断服务集成到巡检系统里，每天对一些集群的核心实例做实时诊断，如果有异常则及时更换或扩容；可以将诊断服务集成到后台运维系统里，供值班人员使用，比如 RDS 实例发起诊断时，也可以同时对 ECS 层面发起诊断。
此外，诊断产品还结合了运维编排能力，开放了很多运维编排的公共模板，可以快速实现定时运维、事件驱动型运维，也提供了批量操作的能力，比如批量发起诊断或跨地域发起诊断等，以上能力都可以在 OS 控制台上直接使用公共脚本来实现。同时，还支持 ECS 产品根据诊断按结果来触发操作，比如诊断结果为当前实例负载过高，可以触发创建新实例或升配；如果诊断结果为云盘容量已经占满，可触发扩容命令等。展望
自服务诊断工具期望成为 ECS 产品问题定位和排查的总入口。近期我们会发布健康诊断的 Open API ，目前也正在密集开发更多的诊断能力。此外，在阿里云官方社区里也有建立了技术圈，供业内同仁在专业上交流分享。Q&A
自动诊断后为什么不执行自动修复？答：我们曾做过一些自动修复的尝试，但效果并不好。首先，部分修复动作存在风险；其次，修复动作可能需要用户授权。因此，最终我们决定只将修复方案方提供给客户。
问题发现和定位的精准度如何？答：诊断工具无法做到全面覆盖，目前主要以保证发生频率较高的问题为主。问题来源有三个渠道：第一类为客户工单，从发生频率较高的问题里评估哪些可以集成到诊断工具里；第二类是定期拜访一些 GC 3 以上的客户；第三类是平时团队内部的管控值班周报。点击下方“阅读原文”，观看作者的演讲视频回放。2.3.4.5.关注我们
欢迎关注加星标✨ 每日推送不错过 查看全部
凌云时刻
在7月初举行的「可观测，才可靠——云上自动化运维CloudOps系列沙龙第一弹」，阿里云弹性计算技术专家郝晨栋分享了《云上可观测能力：问题的发现与定位实践》本文根据其演讲内容整理而成。云服务器可观测能力价值
云服务器可观测性是指客户能够感知到服务器内部运行情况的能力，从而保证云上资源的可靠性。
与传统 IT 运维相比，上云 IT 的使用方式和运维方式发生了一些变化。比如，传统 IT 运维场景下，客户会自购机房、自购机器，操作的是硬件资源；而上云后，客户通过 OpenAPI 操作各种计算资源。同时，传统场景下，业务规模受限于机房或物理机；而得益于云上的弹性能力，客户能够轻松将业务规模扩大到上百台或上千台服务器。
上云后的运维也增加了诸多挑战和难度，需要云服务器的可观测性来解决。云服务器可观测的价值主要有以下三点：
阿里云针对提升云服务器的可观测能力提供了很多主流工具集，包含健康诊断、系统事件、云监控、ARMS 和操作审计。这些工具虽然定位和角度不一样，但其目的都是一致的，即为了让客户清晰感知到当前实例的健康状态，帮助快速发现问题，降低运维成本。使用自服务工具定位和分析典型问题
自服务工具 On-demand self-service 指用户能够自助获取计算资源或服务，而不必与服务供应商打交道。客户在云上经常面临的典型问题有比如实例无法启动、实例无法连接、操作不生效等。传统场景下，客户只能提交工单寻求售后支持，问题解决速度取决于客服对问题的理解程度或回复效率。而在自服务场景下，我们将典型的客户问题全部收纳到健康诊断工具集里，客户可以在控制台上自助发起诊断，进行问题解决，只需分钟级即可定位问题。
实例无法启动一般有两方面原因：
实例无法启动的情况下，阿里云诊断工具如何实现对实例操作系统内部的探测？以个人电脑操作系统为例，比如个人电脑坏了以后，通常会使用 U 盘作为修复盘，启动时进行调整，启动 U 盘再进行重装系统或修复，最后将修复盘卸载，电脑即可正常启动。诊断工具的工作原理类似，如上图左下方所示。如果客户操作系统无法正常启动，诊断工具会为客户挂载一块修复盘，并且会生成用于登录修复盘的临时密码等。修复盘挂载好以后，自动为客户启动实例，原先的系统盘会作为数据盘挂在现在的实例下，然后进行实时探测。如果发现问题，会给客户推荐具体的修复方案，客户可以根据修复方案解决问题。原先系统盘内的问题解决以后，将修复盘卸载，即可正常启动，整个流程对客户完全透明。
实例无法远程链接主要原因为 ECS 两个服务器之间无法连通以及 ECS 实例与公网 IP 无法连通。诊断工具支持三种类型输入，可以选择 ECS 实例、网卡或公网 IP。诊断工具会列出发起端和目的端之间的关键路径，比如实例账户本身状态、实例操作系统、当前实例所在交换机等关键路径，依次探测每个关键路径是否连通，最终得出结论。关键路径可以分为两大类，实例配置类和操作系统内配置。其中，实例配置类包括实例欠费、Vswitch 未放行流量、实例被锁定等；操作系统类主要借助云助手实时下发开源诊断命令，如果发现操作系统内存在问题，则会在修复方案里告知用户。网络连通性诊断报告里会显示无法连通的关键路径及其原因。
实例变更操作不生效指客户在控制台上做了一些变更，但结果与预期不符。这一类的问题难度较大，变更动作非常多，没有生效的原因也非常多。目前自服务诊断工具已经支持的诊断能力有云盘扩容未生效、重置密码不生效、实例变配不生效以及实例续费失效。比如客户云盘超过容量，在控制台上做了扩容，从 40G 扩容到 100G 。控制台上已经显示为 100G，但依然需要客户进入 OS 里做一些扩容命令才能真正生效，否则会导致业务受损。诊断工具有专门针对云盘扩容的专项诊断，如果发现客户实际生效磁盘与扩容大小不一致，会给用户推送扩容建议，避免客户业务受到损害。还有一类实例变更操作不生效是由于客户对产品规则不熟悉导致，诊断工具会给客户推送现在的产品规则。
上述典型问题都需要依靠客户在控制台上主动发起诊断，属于被动服务。而自服务能力背后的主动探测工具是对账系统。如果客户在云上使用的服务与实际运行的不一致，则会影响业务。因此，可以通过对账工具来保证客户在控制台上看到的与实际运行值一致。比如会比对控制台上客户看到的 IP 与实际 IP 是否一致等。通过客户主动发起诊断，再加上自服务工具背后的主动服务，来确保客户可观测到的数据与实际运行一致。下图为自服务诊断工具的诊断能力总览和用户场景。
诊断能力主要分为两大类，分别是问题排查和规则类。问题排查类又细分为操作系统和云平台类，目前已有大约 80 多种诊断能力；产品规则类目前已经提供了 30 多种能力。
阿里云平台诊断分析依赖于阿里云底层的数据采集。阿里云在全球有接近 30 多个地域、上百个可用区，每时每刻都有实时数据被采集上来，比如物理机、IDC 有机房、操作性能、串口日志等。这些基础日志是健康诊断工具的输入，有了这些底层数据，诊断才能做数据清洗、聚合计算、抽取与异常相关的特征，最后产出诊断根因。另一部分诊断能力与操作系统内客户的关系较为密切，通过在实例内安装云助手服务实现。客户发起诊断时，通过云助手在客户实例上执行开源脚本，进行实时数据收集，包括负载类和配置类，比如实时探测当前客户 OS 内的 CPU 、内存、 iOS 等负载类，或 DHCP、 IP 等配置类。阿里云平台诊断和操作系统内诊断两大能力共同组成了健康诊断服务。目前健康诊断服务已经输出到控制台上供云客户使用，也输出到内部给云产品使用，近期也将推出 OpenAPI。集成诊断实现自动化运维
对于没有自己运维平台的中小型客户，我们推荐直接在控制台上使用诊断产品，既方便又快捷，诊断产品还提供了诸多详细方案供客户参考。对于有自己运维系统的中大型用户，建议通过API的形式集成到自己的运维系统中，高效便捷。比如可以将监控系统与诊断做整合，监控系统发现实例负载不正常时，会直接调用诊断 API 并根据诊断结果做处理；可以将诊断服务集成到巡检系统里，每天对一些集群的核心实例做实时诊断，如果有异常则及时更换或扩容；可以将诊断服务集成到后台运维系统里，供值班人员使用，比如 RDS 实例发起诊断时，也可以同时对 ECS 层面发起诊断。
此外，诊断产品还结合了运维编排能力，开放了很多运维编排的公共模板，可以快速实现定时运维、事件驱动型运维，也提供了批量操作的能力，比如批量发起诊断或跨地域发起诊断等，以上能力都可以在 OS 控制台上直接使用公共脚本来实现。同时，还支持 ECS 产品根据诊断按结果来触发操作，比如诊断结果为当前实例负载过高，可以触发创建新实例或升配；如果诊断结果为云盘容量已经占满，可触发扩容命令等。展望
自服务诊断工具期望成为 ECS 产品问题定位和排查的总入口。近期我们会发布健康诊断的 Open API ，目前也正在密集开发更多的诊断能力。此外，在阿里云官方社区里也有建立了技术圈，供业内同仁在专业上交流分享。Q&A
自动诊断后为什么不执行自动修复？答：我们曾做过一些自动修复的尝试，但效果并不好。首先，部分修复动作存在风险；其次，修复动作可能需要用户授权。因此，最终我们决定只将修复方案方提供给客户。
问题发现和定位的精准度如何？答：诊断工具无法做到全面覆盖，目前主要以保证发生频率较高的问题为主。问题来源有三个渠道：第一类为客户工单，从发生频率较高的问题里评估哪些可以集成到诊断工具里；第二类是定期拜访一些 GC 3 以上的客户；第三类是平时团队内部的管控值班周报。点击下方“阅读原文”，观看作者的演讲视频回放。2.3.4.5.关注我们
欢迎关注加星标✨ 每日推送不错过 查看全部
阿里云技术专家郝晨栋：云上可观测能力，问题的发现与定位实践
凌云时刻
在7月初举行的「可观测，才可靠——云上自动化运维CloudOps系列沙龙第一弹」，阿里云弹性计算技术专家郝晨栋分享了《云上可观测能力：问题的发现与定位实践》本文根据其演讲内容整理而成。云服务器可观测能力价值
云服务器可观测性是指客户能够感知到服务器内部运行情况的能力，从而保证云上资源的可靠性。
与传统 IT 运维相比，上云 IT 的使用方式和运维方式发生了一些变化。比如，传统 IT 运维场景下，客户会自购机房、自购机器，操作的是硬件资源；而上云后，客户通过 OpenAPI 操作各种计算资源。同时，传统场景下，业务规模受限于机房或物理机；而得益于云上的弹性能力，客户能够轻松将业务规模扩大到上百台或上千台服务器。
上云后的运维也增加了诸多挑战和难度，需要云服务器的可观测性来解决。云服务器可观测的价值主要有以下三点：
阿里云针对提升云服务器的可观测能力提供了很多主流工具集，包含健康诊断、系统事件、云监控、ARMS 和操作审计。这些工具虽然定位和角度不一样，但其目的都是一致的，即为了让客户清晰感知到当前实例的健康状态，帮助快速发现问题，降低运维成本。使用自服务工具定位和分析典型问题
自服务工具 On-demand self-service 指用户能够自助获取计算资源或服务，而不必与服务供应商打交道。客户在云上经常面临的典型问题有比如实例无法启动、实例无法连接、操作不生效等。传统场景下，客户只能提交工单寻求售后支持，问题解决速度取决于客服对问题的理解程度或回复效率。而在自服务场景下，我们将典型的客户问题全部收纳到健康诊断工具集里，客户可以在控制台上自助发起诊断，进行问题解决，只需分钟级即可定位问题。
实例无法启动一般有两方面原因：
实例无法启动的情况下，阿里云诊断工具如何实现对实例操作系统内部的探测？以个人电脑操作系统为例，比如个人电脑坏了以后，通常会使用 U 盘作为修复盘，启动时进行调整，启动 U 盘再进行重装系统或修复，最后将修复盘卸载，电脑即可正常启动。诊断工具的工作原理类似，如上图左下方所示。如果客户操作系统无法正常启动，诊断工具会为客户挂载一块修复盘，并且会生成用于登录修复盘的临时密码等。修复盘挂载好以后，自动为客户启动实例，原先的系统盘会作为数据盘挂在现在的实例下，然后进行实时探测。如果发现问题，会给客户推荐具体的修复方案，客户可以根据修复方案解决问题。原先系统盘内的问题解决以后，将修复盘卸载，即可正常启动，整个流程对客户完全透明。
实例无法远程链接主要原因为 ECS 两个服务器之间无法连通以及 ECS 实例与公网 IP 无法连通。诊断工具支持三种类型输入，可以选择 ECS 实例、网卡或公网 IP。诊断工具会列出发起端和目的端之间的关键路径，比如实例账户本身状态、实例操作系统、当前实例所在交换机等关键路径，依次探测每个关键路径是否连通，最终得出结论。关键路径可以分为两大类，实例配置类和操作系统内配置。其中，实例配置类包括实例欠费、Vswitch 未放行流量、实例被锁定等；操作系统类主要借助云助手实时下发开源诊断命令，如果发现操作系统内存在问题，则会在修复方案里告知用户。网络连通性诊断报告里会显示无法连通的关键路径及其原因。
实例变更操作不生效指客户在控制台上做了一些变更，但结果与预期不符。这一类的问题难度较大，变更动作非常多，没有生效的原因也非常多。目前自服务诊断工具已经支持的诊断能力有云盘扩容未生效、重置密码不生效、实例变配不生效以及实例续费失效。比如客户云盘超过容量，在控制台上做了扩容，从 40G 扩容到 100G 。控制台上已经显示为 100G，但依然需要客户进入 OS 里做一些扩容命令才能真正生效，否则会导致业务受损。诊断工具有专门针对云盘扩容的专项诊断，如果发现客户实际生效磁盘与扩容大小不一致，会给用户推送扩容建议，避免客户业务受到损害。还有一类实例变更操作不生效是由于客户对产品规则不熟悉导致，诊断工具会给客户推送现在的产品规则。
上述典型问题都需要依靠客户在控制台上主动发起诊断，属于被动服务。而自服务能力背后的主动探测工具是对账系统。如果客户在云上使用的服务与实际运行的不一致，则会影响业务。因此，可以通过对账工具来保证客户在控制台上看到的与实际运行值一致。比如会比对控制台上客户看到的 IP 与实际 IP 是否一致等。通过客户主动发起诊断，再加上自服务工具背后的主动服务，来确保客户可观测到的数据与实际运行一致。下图为自服务诊断工具的诊断能力总览和用户场景。
诊断能力主要分为两大类，分别是问题排查和规则类。问题排查类又细分为操作系统和云平台类，目前已有大约 80 多种诊断能力；产品规则类目前已经提供了 30 多种能力。
阿里云平台诊断分析依赖于阿里云底层的数据采集。阿里云在全球有接近 30 多个地域、上百个可用区，每时每刻都有实时数据被采集上来，比如物理机、IDC 有机房、操作性能、串口日志等。这些基础日志是健康诊断工具的输入，有了这些底层数据，诊断才能做数据清洗、聚合计算、抽取与异常相关的特征，最后产出诊断根因。另一部分诊断能力与操作系统内客户的关系较为密切，通过在实例内安装云助手服务实现。客户发起诊断时，通过云助手在客户实例上执行开源脚本，进行实时数据收集，包括负载类和配置类，比如实时探测当前客户 OS 内的 CPU 、内存、 iOS 等负载类，或 DHCP、 IP 等配置类。阿里云平台诊断和操作系统内诊断两大能力共同组成了健康诊断服务。目前健康诊断服务已经输出到控制台上供云客户使用，也输出到内部给云产品使用，近期也将推出 OpenAPI。集成诊断实现自动化运维
对于没有自己运维平台的中小型客户，我们推荐直接在控制台上使用诊断产品，既方便又快捷，诊断产品还提供了诸多详细方案供客户参考。对于有自己运维系统的中大型用户，建议通过API的形式集成到自己的运维系统中，高效便捷。比如可以将监控系统与诊断做整合，监控系统发现实例负载不正常时，会直接调用诊断 API 并根据诊断结果做处理；可以将诊断服务集成到巡检系统里，每天对一些集群的核心实例做实时诊断，如果有异常则及时更换或扩容；可以将诊断服务集成到后台运维系统里，供值班人员使用，比如 RDS 实例发起诊断时，也可以同时对 ECS 层面发起诊断。
此外，诊断产品还结合了运维编排能力，开放了很多运维编排的公共模板，可以快速实现定时运维、事件驱动型运维，也提供了批量操作的能力，比如批量发起诊断或跨地域发起诊断等，以上能力都可以在 OS 控制台上直接使用公共脚本来实现。同时，还支持 ECS 产品根据诊断按结果来触发操作，比如诊断结果为当前实例负载过高，可以触发创建新实例或升配；如果诊断结果为云盘容量已经占满，可触发扩容命令等。展望
自服务诊断工具期望成为 ECS 产品问题定位和排查的总入口。近期我们会发布健康诊断的 Open API ，目前也正在密集开发更多的诊断能力。此外，在阿里云官方社区里也有建立了技术圈，供业内同仁在专业上交流分享。Q&A
自动诊断后为什么不执行自动修复？答：我们曾做过一些自动修复的尝试，但效果并不好。首先，部分修复动作存在风险；其次，修复动作可能需要用户授权。因此，最终我们决定只将修复方案方提供给客户。
问题发现和定位的精准度如何？答：诊断工具无法做到全面覆盖，目前主要以保证发生频率较高的问题为主。问题来源有三个渠道：第一类为客户工单，从发生频率较高的问题里评估哪些可以集成到诊断工具里；第二类是定期拜访一些 GC 3 以上的客户；第三类是平时团队内部的管控值班周报。点击下方“阅读原文”，观看作者的演讲视频回放。2.3.4.5.关注我们
欢迎关注加星标✨ 每日推送不错过
采集系统上云的意义太多，比马云做得好不止一两个
采集交流 • 优采云 发表了文章 • 0 个评论 • 114 次浏览 • 2022-08-14 21:04
采集系统上云的意义太多，比马云做得好不止一两个
采集系统上云的意义太多了，随便一个都可以是国内领先的、秒杀百度那样的公司，无数公司比马云做得好不止一两个。
1、各种特殊识别方式的便利性；
2、极快的采集效率；
3、真实全国地图数据的访问权限和访问速度；
4、各种精准的数据报告；
5、实时交互式的数据分析；
6、资产管理和数据分析的便利性。
除了不停的抓取、加速以外，有些点也是比较容易忽略的问题：地图地址很多时候会造成文件夹过大，容易无法发布原图的情况——也就是总是在同一个地址打包发布，不同站点的文件大小非常容易在最初估算出差异。全国、省份地址信息也有一些特殊性和不易度量的指标。
对于baidu来说，采集数据基本上是没有任何意义的。
看到地图上的二维码，其实是没有抓取到任何数据的。
1、二维码本身包含的openid，从而能知道这个url是否为官网，同时抓取到的二维码扫描次数，能直接判断你是否在他们平台有积分。所以不在这里一一列举。
2、二维码本身的签名，cookie中指定一个身份，你扫这个二维码时，服务器收到了数据包，会通过签名，校验该签名。（校验位置可能在二维码扫描过程中，也可能在终端客户端处理时）其实二维码就是个加密的二维码，二维码本身的加密算法可以对比他的空间分辨率是否符合一个二维码的要求。还有一种我不知道也不关心。像密码一样的东西，为什么他们说能破解，只是因为已知被识别的密码，人家通过机器学习等等复杂的手段还是能推出他们的签名算法，破解他们一个不大不小的二维码就成功，除非他们的二维码是真的破解不了。 查看全部
采集系统上云的意义太多了，随便一个都可以是国内领先的、秒杀百度那样的公司，无数公司比马云做得好不止一两个。
1、各种特殊识别方式的便利性；
2、极快的采集效率；
3、真实全国地图数据的访问权限和访问速度；
4、各种精准的数据报告；
5、实时交互式的数据分析；
6、资产管理和数据分析的便利性。
除了不停的抓取、加速以外，有些点也是比较容易忽略的问题：地图地址很多时候会造成文件夹过大，容易无法发布原图的情况——也就是总是在同一个地址打包发布，不同站点的文件大小非常容易在最初估算出差异。全国、省份地址信息也有一些特殊性和不易度量的指标。
对于baidu来说，采集数据基本上是没有任何意义的。
看到地图上的二维码，其实是没有抓取到任何数据的。
1、二维码本身包含的openid，从而能知道这个url是否为官网，同时抓取到的二维码扫描次数，能直接判断你是否在他们平台有积分。所以不在这里一一列举。
2、二维码本身的签名，cookie中指定一个身份，你扫这个二维码时，服务器收到了数据包，会通过签名，校验该签名。（校验位置可能在二维码扫描过程中，也可能在终端客户端处理时）其实二维码就是个加密的二维码，二维码本身的加密算法可以对比他的空间分辨率是否符合一个二维码的要求。还有一种我不知道也不关心。像密码一样的东西，为什么他们说能破解，只是因为已知被识别的密码，人家通过机器学习等等复杂的手段还是能推出他们的签名算法，破解他们一个不大不小的二维码就成功，除非他们的二维码是真的破解不了。 查看全部
采集系统上云的意义太多，比马云做得好不止一两个
采集系统上云的意义太多了，随便一个都可以是国内领先的、秒杀百度那样的公司，无数公司比马云做得好不止一两个。
1、各种特殊识别方式的便利性；
2、极快的采集效率；
3、真实全国地图数据的访问权限和访问速度；
4、各种精准的数据报告；
5、实时交互式的数据分析；
6、资产管理和数据分析的便利性。
除了不停的抓取、加速以外，有些点也是比较容易忽略的问题：地图地址很多时候会造成文件夹过大，容易无法发布原图的情况——也就是总是在同一个地址打包发布，不同站点的文件大小非常容易在最初估算出差异。全国、省份地址信息也有一些特殊性和不易度量的指标。
对于baidu来说，采集数据基本上是没有任何意义的。
看到地图上的二维码，其实是没有抓取到任何数据的。
1、二维码本身包含的openid，从而能知道这个url是否为官网，同时抓取到的二维码扫描次数，能直接判断你是否在他们平台有积分。所以不在这里一一列举。
2、二维码本身的签名，cookie中指定一个身份，你扫这个二维码时，服务器收到了数据包，会通过签名，校验该签名。（校验位置可能在二维码扫描过程中，也可能在终端客户端处理时）其实二维码就是个加密的二维码，二维码本身的加密算法可以对比他的空间分辨率是否符合一个二维码的要求。还有一种我不知道也不关心。像密码一样的东西，为什么他们说能破解，只是因为已知被识别的密码，人家通过机器学习等等复杂的手段还是能推出他们的签名算法，破解他们一个不大不小的二维码就成功，除非他们的二维码是真的破解不了。
中国人事云推送信息数据有什么成功的探索经验？
采集交流 • 优采云 发表了文章 • 0 个评论 • 83 次浏览 • 2022-08-06 14:02
中国人事云推送信息数据有什么成功的探索经验？
采集系统上云之后可以在电脑手机平板app直接访问云端数据库，查询访问，这个技术已经是公开的秘密，不要说上市之后，就是现在一些集团公司it部门都都在研究。系统本身自带大量的设备以及管理，像影视放映机，机房里面各种应用模块，led大屏幕，san等等，你都可以随意访问使用。国内市场现在一个比较主流的创业项目，就是中国人事云推送信息数据这个，可以在云平台大数据信息上做深度挖掘。就看你在大数据方面有什么成功的探索经验，打算怎么去弄了。
我有一个逻辑，是，不管是哪个技术，一定是有历史久远的基础积累在里面的。只不过这个文件系统有点复杂，你暂时还用不上罢了。
中国人事云:从事信息化的工作要有一些门槛和知识，才能使你站在时代的前沿，而这是光靠个人工作经验是无法具体完成的。很多是行业新人如果缺乏系统专业的训练是无法胜任的。目前国内大多数企业，因为缺乏信息化或者信息化的经验，在应用大数据解决一些实际问题的时候，会受制于厂商的一些技术型培训，而少了许多试错和实践，反而最终放弃了。
正因为此，很多人事开始关注用前端的技术作为基础，利用现有成熟的工具与模块来完成一个大而全的erp系统，这样性价比才高，才能保证一个高效运营。因此我们目前开发了人事云系统，从原有erp系统基础上，加入人事信息化理念，并结合目前可以利用到的云端大数据能力来打造一个一站式人事管理平台。目前为止已经开发出一些客户级应用，公司也在加紧推广使用，不仅如此，我们还找到了国内很多成熟的竞争对手，包括阿里和腾讯，他们都推出了自己的产品，不停地锤炼和完善。
我们在努力的跑赢未来的市场，让很多有梦想的工作和生活都有一个地方，能够尽快的成长起来。现在我们可以给大家发布一个预告，招聘几个熟悉人事的全职工作，我希望你是全职工作，待遇看你的能力了，最好是有一定的社会经验，最好在专业上可以熟悉些业务，岗位不限。已经有很多工作经验的朋友了，对人事不满意，我们可以实现跨部门，跨岗位，跨公司甚至跨国家，但这个得有人去做，等你有信心可以走到这一步之后，我们再开始招聘第二批。招聘岗位如下:。 查看全部
采集系统上云之后可以在电脑手机平板app直接访问云端数据库，查询访问，这个技术已经是公开的秘密，不要说上市之后，就是现在一些集团公司it部门都都在研究。系统本身自带大量的设备以及管理，像影视放映机，机房里面各种应用模块，led大屏幕，san等等，你都可以随意访问使用。国内市场现在一个比较主流的创业项目，就是中国人事云推送信息数据这个，可以在云平台大数据信息上做深度挖掘。就看你在大数据方面有什么成功的探索经验，打算怎么去弄了。
我有一个逻辑，是，不管是哪个技术，一定是有历史久远的基础积累在里面的。只不过这个文件系统有点复杂，你暂时还用不上罢了。
中国人事云:从事信息化的工作要有一些门槛和知识，才能使你站在时代的前沿，而这是光靠个人工作经验是无法具体完成的。很多是行业新人如果缺乏系统专业的训练是无法胜任的。目前国内大多数企业，因为缺乏信息化或者信息化的经验，在应用大数据解决一些实际问题的时候，会受制于厂商的一些技术型培训，而少了许多试错和实践，反而最终放弃了。
正因为此，很多人事开始关注用前端的技术作为基础，利用现有成熟的工具与模块来完成一个大而全的erp系统，这样性价比才高，才能保证一个高效运营。因此我们目前开发了人事云系统，从原有erp系统基础上，加入人事信息化理念，并结合目前可以利用到的云端大数据能力来打造一个一站式人事管理平台。目前为止已经开发出一些客户级应用，公司也在加紧推广使用，不仅如此，我们还找到了国内很多成熟的竞争对手，包括阿里和腾讯，他们都推出了自己的产品，不停地锤炼和完善。
我们在努力的跑赢未来的市场，让很多有梦想的工作和生活都有一个地方，能够尽快的成长起来。现在我们可以给大家发布一个预告，招聘几个熟悉人事的全职工作，我希望你是全职工作，待遇看你的能力了，最好是有一定的社会经验，最好在专业上可以熟悉些业务，岗位不限。已经有很多工作经验的朋友了，对人事不满意，我们可以实现跨部门，跨岗位，跨公司甚至跨国家，但这个得有人去做，等你有信心可以走到这一步之后，我们再开始招聘第二批。招聘岗位如下:。 查看全部
中国人事云推送信息数据有什么成功的探索经验？
采集系统上云之后可以在电脑手机平板app直接访问云端数据库，查询访问，这个技术已经是公开的秘密，不要说上市之后，就是现在一些集团公司it部门都都在研究。系统本身自带大量的设备以及管理，像影视放映机，机房里面各种应用模块，led大屏幕，san等等，你都可以随意访问使用。国内市场现在一个比较主流的创业项目，就是中国人事云推送信息数据这个，可以在云平台大数据信息上做深度挖掘。就看你在大数据方面有什么成功的探索经验，打算怎么去弄了。
我有一个逻辑，是，不管是哪个技术，一定是有历史久远的基础积累在里面的。只不过这个文件系统有点复杂，你暂时还用不上罢了。
中国人事云:从事信息化的工作要有一些门槛和知识，才能使你站在时代的前沿，而这是光靠个人工作经验是无法具体完成的。很多是行业新人如果缺乏系统专业的训练是无法胜任的。目前国内大多数企业，因为缺乏信息化或者信息化的经验，在应用大数据解决一些实际问题的时候，会受制于厂商的一些技术型培训，而少了许多试错和实践，反而最终放弃了。
正因为此，很多人事开始关注用前端的技术作为基础，利用现有成熟的工具与模块来完成一个大而全的erp系统，这样性价比才高，才能保证一个高效运营。因此我们目前开发了人事云系统，从原有erp系统基础上，加入人事信息化理念，并结合目前可以利用到的云端大数据能力来打造一个一站式人事管理平台。目前为止已经开发出一些客户级应用，公司也在加紧推广使用，不仅如此，我们还找到了国内很多成熟的竞争对手，包括阿里和腾讯，他们都推出了自己的产品，不停地锤炼和完善。
我们在努力的跑赢未来的市场，让很多有梦想的工作和生活都有一个地方，能够尽快的成长起来。现在我们可以给大家发布一个预告，招聘几个熟悉人事的全职工作，我希望你是全职工作，待遇看你的能力了，最好是有一定的社会经验，最好在专业上可以熟悉些业务，岗位不限。已经有很多工作经验的朋友了，对人事不满意，我们可以实现跨部门，跨岗位，跨公司甚至跨国家，但这个得有人去做，等你有信心可以走到这一步之后，我们再开始招聘第二批。招聘岗位如下:。
采集系统上云的前提要考虑的问题有哪些？
采集交流 • 优采云 发表了文章 • 0 个评论 • 138 次浏览 • 2022-07-23 21:02
采集系统上云的前提要考虑的问题有哪些？
采集系统上云的前提要考虑的问题有很多：信息收集的质量、信息收集的数量、数据的同步等。不过我个人认为应该首先做到的一点是要让浏览器能够快速接收到数据而非需要数据搜索才能搜索到。因此我认为对于这个采集系统有个比较简单的方案，一方面是通过数据源写代码，一方面是通过自己的实现原理和架构来写服务器或者云平台，主要是采集的数据量大小而定。
数据资源商业化转换的三大类服务：1.提供底层数据接口；2.提供具体业务系统技术方案；3.提供分析服务。深入采集的系统，例如基于地理位置查询各地的整个底层数据的，个人认为是不会单独成立的。有关整个系统实现的细节可以对照我前面给到的做法来看。再推荐一些重点类网站：谷歌、百度、yahoo、infosys等等。
数据采集比较关键的特点：1.要采集一手的数据；2.收集的数据要易于统计和分析；3.数据上架需要考虑的因素很多，包括网站的结构、数据采集的速度、集中式集中式系统的架构等。前面已经提到，深入采集虽然目的是为了做好一个数据管理工具，但我想深入采集本身也可以作为一种共享服务存在，尤其是在开放的云上。
1.一定要是使用p2p原理的采集系统，本地直接构建一个p2p分布式的采集节点，可以有多个节点互相访问，不需要和其他网站提供的数据源对接，进行了p2p后如果需要在a网站进行数据的处理同样可以从b采集。2.要对采集到的数据进行分析，同时这些数据需要保存在服务器中。3.数据分析要根据数据的特点来分析，针对不同特点可以制定不同的数据分析方案。
数据采集的核心需求：1.不同类型的数据定义等，同时和对应的数据接口采集数据。2.采集数据的速度和质量等，数据处理的速度要保证每秒600以上，然后尽量短时间内打开。3.数据接口要实时更新。整个后台处理流程可以分为数据接口接入与数据传输等流程。流程上分为前端和后端两个层次，前端如微信，后端如erp，应用软件。4.整个采集项目的实施流程必须得有一定的实施保障。 查看全部
采集系统上云的前提要考虑的问题有很多：信息收集的质量、信息收集的数量、数据的同步等。不过我个人认为应该首先做到的一点是要让浏览器能够快速接收到数据而非需要数据搜索才能搜索到。因此我认为对于这个采集系统有个比较简单的方案，一方面是通过数据源写代码，一方面是通过自己的实现原理和架构来写服务器或者云平台，主要是采集的数据量大小而定。
数据资源商业化转换的三大类服务：1.提供底层数据接口；2.提供具体业务系统技术方案；3.提供分析服务。深入采集的系统，例如基于地理位置查询各地的整个底层数据的，个人认为是不会单独成立的。有关整个系统实现的细节可以对照我前面给到的做法来看。再推荐一些重点类网站：谷歌、百度、yahoo、infosys等等。
数据采集比较关键的特点：1.要采集一手的数据；2.收集的数据要易于统计和分析；3.数据上架需要考虑的因素很多，包括网站的结构、数据采集的速度、集中式集中式系统的架构等。前面已经提到，深入采集虽然目的是为了做好一个数据管理工具，但我想深入采集本身也可以作为一种共享服务存在，尤其是在开放的云上。
1.一定要是使用p2p原理的采集系统，本地直接构建一个p2p分布式的采集节点，可以有多个节点互相访问，不需要和其他网站提供的数据源对接，进行了p2p后如果需要在a网站进行数据的处理同样可以从b采集。2.要对采集到的数据进行分析，同时这些数据需要保存在服务器中。3.数据分析要根据数据的特点来分析，针对不同特点可以制定不同的数据分析方案。
数据采集的核心需求：1.不同类型的数据定义等，同时和对应的数据接口采集数据。2.采集数据的速度和质量等，数据处理的速度要保证每秒600以上，然后尽量短时间内打开。3.数据接口要实时更新。整个后台处理流程可以分为数据接口接入与数据传输等流程。流程上分为前端和后端两个层次，前端如微信，后端如erp，应用软件。4.整个采集项目的实施流程必须得有一定的实施保障。 查看全部
采集系统上云的前提要考虑的问题有哪些？
采集系统上云的前提要考虑的问题有很多：信息收集的质量、信息收集的数量、数据的同步等。不过我个人认为应该首先做到的一点是要让浏览器能够快速接收到数据而非需要数据搜索才能搜索到。因此我认为对于这个采集系统有个比较简单的方案，一方面是通过数据源写代码，一方面是通过自己的实现原理和架构来写服务器或者云平台，主要是采集的数据量大小而定。
数据资源商业化转换的三大类服务：1.提供底层数据接口；2.提供具体业务系统技术方案；3.提供分析服务。深入采集的系统，例如基于地理位置查询各地的整个底层数据的，个人认为是不会单独成立的。有关整个系统实现的细节可以对照我前面给到的做法来看。再推荐一些重点类网站：谷歌、百度、yahoo、infosys等等。
数据采集比较关键的特点：1.要采集一手的数据；2.收集的数据要易于统计和分析；3.数据上架需要考虑的因素很多，包括网站的结构、数据采集的速度、集中式集中式系统的架构等。前面已经提到，深入采集虽然目的是为了做好一个数据管理工具，但我想深入采集本身也可以作为一种共享服务存在，尤其是在开放的云上。
1.一定要是使用p2p原理的采集系统，本地直接构建一个p2p分布式的采集节点，可以有多个节点互相访问，不需要和其他网站提供的数据源对接，进行了p2p后如果需要在a网站进行数据的处理同样可以从b采集。2.要对采集到的数据进行分析，同时这些数据需要保存在服务器中。3.数据分析要根据数据的特点来分析，针对不同特点可以制定不同的数据分析方案。
数据采集的核心需求：1.不同类型的数据定义等，同时和对应的数据接口采集数据。2.采集数据的速度和质量等，数据处理的速度要保证每秒600以上，然后尽量短时间内打开。3.数据接口要实时更新。整个后台处理流程可以分为数据接口接入与数据传输等流程。流程上分为前端和后端两个层次，前端如微信，后端如erp，应用软件。4.整个采集项目的实施流程必须得有一定的实施保障。
揭秘区块链共识算法如何影响市场上所有支付系统的行为
采集交流 • 优采云 发表了文章 • 0 个评论 • 83 次浏览 • 2022-07-11 15:01
揭秘区块链共识算法如何影响市场上所有支付系统的行为
采集系统上云后，接入的数据均可以进行轻松统计分析，不再需要花费大量的时间与精力在日常运营工作中，接入平台部署简单，数据可被多层分析解读，本文将通过通证应用实践案例，为您揭秘区块链共识算法如何影响目前市场上所有支付系统的行为。共识算法共识算法在现在支付中起到关键性作用，它的好坏直接影响了将来平台所有平台业务的发展，目前的支付市场中大部分是基于p2p的共识算法，这种架构中所有的交易由一个系统（p系统）统一进行处理，信息也都会传递到所有的交易节点（t），支付的场景则不同于p2p，平台本身没有实际的动作，转账则是由双方共同完成的，对于转账需要进行支付保证金，那么共识保证金的概念应该怎么理解呢？简单说就是对账交易转账一方需要通过银行进行一系列增减银行准备金的行为，就是增加账上的银行准备金（支付保证金）越多则转账越多，共识保证金就是支付保证金，整个转账交易中就会增加保证金且能够保证双方都需要增加这笔转账，整个转账转账一方不需要增加保证金，那么共识保证金就会增加，那共识保证金会增加到什么程度呢？举个例子：cto只需要让交易中的支付方增加一笔转账（t），那么支付的共识保证金会在0.01个btc左右，平台交易由于有支付保证金双方共识时需要增加0.01*ctobtc。
当然理论数据无法支撑目前的实际业务，接下来看更多实际项目落地的例子。基于多节点共识算法实现的监控平台在项目前期存在一定的难度，用户一个不留神就有可能将系统的各个环节遗忘，导致整个平台的运维团队的大量的工作是为了维护整个平台，而不是用户，也就意味着整个项目难以维护。oxchainoxchain是一个类似于xmpp（即时通讯）的中间件，提供了简单而高效的消息通道协议，并且提供了许多应用场景，如“大规模异步通信”的概念被基于这一通道协议和oxchain的可用c++库实现。
oxchain提供了一个不错的语言api，使用者可以自定义各种不同的消息格式，还提供了一些通用工具包，提供了各种中间人加密协议（bootstrap），以及一个privatec++api，允许运维和开发者直接去管理这个消息通道。算法我们接下来主要研究oxchain消息通道协议模块，算法是代码实现的核心，用户首先要实现复杂的raft协议模块，比如对不同消息进行选举/推举一个entity，一个entity又要有chain，这都是算法的核心基础设施部分，除此之外，代码里面还会实现一个消息发送路由和消息接收路由算法。按照目前项目前期来看，整个项目目前没有什么难度，但是随着技术的成熟，根据时间进度来看。 查看全部
采集系统上云后，接入的数据均可以进行轻松统计分析，不再需要花费大量的时间与精力在日常运营工作中，接入平台部署简单，数据可被多层分析解读，本文将通过通证应用实践案例，为您揭秘区块链共识算法如何影响目前市场上所有支付系统的行为。共识算法共识算法在现在支付中起到关键性作用，它的好坏直接影响了将来平台所有平台业务的发展，目前的支付市场中大部分是基于p2p的共识算法，这种架构中所有的交易由一个系统（p系统）统一进行处理，信息也都会传递到所有的交易节点（t），支付的场景则不同于p2p，平台本身没有实际的动作，转账则是由双方共同完成的，对于转账需要进行支付保证金，那么共识保证金的概念应该怎么理解呢？简单说就是对账交易转账一方需要通过银行进行一系列增减银行准备金的行为，就是增加账上的银行准备金（支付保证金）越多则转账越多，共识保证金就是支付保证金，整个转账交易中就会增加保证金且能够保证双方都需要增加这笔转账，整个转账转账一方不需要增加保证金，那么共识保证金就会增加，那共识保证金会增加到什么程度呢？举个例子：cto只需要让交易中的支付方增加一笔转账（t），那么支付的共识保证金会在0.01个btc左右，平台交易由于有支付保证金双方共识时需要增加0.01*ctobtc。
当然理论数据无法支撑目前的实际业务，接下来看更多实际项目落地的例子。基于多节点共识算法实现的监控平台在项目前期存在一定的难度，用户一个不留神就有可能将系统的各个环节遗忘，导致整个平台的运维团队的大量的工作是为了维护整个平台，而不是用户，也就意味着整个项目难以维护。oxchainoxchain是一个类似于xmpp（即时通讯）的中间件，提供了简单而高效的消息通道协议，并且提供了许多应用场景，如“大规模异步通信”的概念被基于这一通道协议和oxchain的可用c++库实现。
oxchain提供了一个不错的语言api，使用者可以自定义各种不同的消息格式，还提供了一些通用工具包，提供了各种中间人加密协议（bootstrap），以及一个privatec++api，允许运维和开发者直接去管理这个消息通道。算法我们接下来主要研究oxchain消息通道协议模块，算法是代码实现的核心，用户首先要实现复杂的raft协议模块，比如对不同消息进行选举/推举一个entity，一个entity又要有chain，这都是算法的核心基础设施部分，除此之外，代码里面还会实现一个消息发送路由和消息接收路由算法。按照目前项目前期来看，整个项目目前没有什么难度，但是随着技术的成熟，根据时间进度来看。 查看全部
揭秘区块链共识算法如何影响市场上所有支付系统的行为
采集系统上云后，接入的数据均可以进行轻松统计分析，不再需要花费大量的时间与精力在日常运营工作中，接入平台部署简单，数据可被多层分析解读，本文将通过通证应用实践案例，为您揭秘区块链共识算法如何影响目前市场上所有支付系统的行为。共识算法共识算法在现在支付中起到关键性作用，它的好坏直接影响了将来平台所有平台业务的发展，目前的支付市场中大部分是基于p2p的共识算法，这种架构中所有的交易由一个系统（p系统）统一进行处理，信息也都会传递到所有的交易节点（t），支付的场景则不同于p2p，平台本身没有实际的动作，转账则是由双方共同完成的，对于转账需要进行支付保证金，那么共识保证金的概念应该怎么理解呢？简单说就是对账交易转账一方需要通过银行进行一系列增减银行准备金的行为，就是增加账上的银行准备金（支付保证金）越多则转账越多，共识保证金就是支付保证金，整个转账交易中就会增加保证金且能够保证双方都需要增加这笔转账，整个转账转账一方不需要增加保证金，那么共识保证金就会增加，那共识保证金会增加到什么程度呢？举个例子：cto只需要让交易中的支付方增加一笔转账（t），那么支付的共识保证金会在0.01个btc左右，平台交易由于有支付保证金双方共识时需要增加0.01*ctobtc。
当然理论数据无法支撑目前的实际业务，接下来看更多实际项目落地的例子。基于多节点共识算法实现的监控平台在项目前期存在一定的难度，用户一个不留神就有可能将系统的各个环节遗忘，导致整个平台的运维团队的大量的工作是为了维护整个平台，而不是用户，也就意味着整个项目难以维护。oxchainoxchain是一个类似于xmpp（即时通讯）的中间件，提供了简单而高效的消息通道协议，并且提供了许多应用场景，如“大规模异步通信”的概念被基于这一通道协议和oxchain的可用c++库实现。
oxchain提供了一个不错的语言api，使用者可以自定义各种不同的消息格式，还提供了一些通用工具包，提供了各种中间人加密协议（bootstrap），以及一个privatec++api，允许运维和开发者直接去管理这个消息通道。算法我们接下来主要研究oxchain消息通道协议模块，算法是代码实现的核心，用户首先要实现复杂的raft协议模块，比如对不同消息进行选举/推举一个entity，一个entity又要有chain，这都是算法的核心基础设施部分，除此之外，代码里面还会实现一个消息发送路由和消息接收路由算法。按照目前项目前期来看，整个项目目前没有什么难度，但是随着技术的成熟，根据时间进度来看。
浅谈云原生系统日志收集在数栈的实践
采集交流 • 优采云 发表了文章 • 0 个评论 • 60 次浏览 • 2022-06-19 22:29
浅谈云原生系统日志收集在数栈的实践
一、常规打法ELK
谈到日志收集，估计大家第一个想到的就是ELK这个比较成熟的方案，如果是特别针对云原生上的，那么将采集器稍微变一下为 Fluentd 组成 EFK 即可。以上两种方案其实没有本质上的区别，采集器换了换而已。最终存储、查询等等采用的还是 elasticsearch 这一套。
elasticsearch确实功能丰富、非常强大，但是代价也是极其昂贵的，elasticsearch 采用全文索引的方式，对存储以及内存的要求比较高，而这些代价换来的功能对于日常日志管理来说却是不常用的。这些缺点在主机模式下其实是可以容忍的，但在云原生模式下就显得比较臃肿了。
二、不讲武德PLG
PLG 是 promtail+loki+grafana 的合称，这是一套非常适合云原生下日志的采集方案。grafana 大家会比较熟悉，一个非常棒的可视化的框架，支持多种数据源。最常见的就是将prometheus的数据进行可视化展示。而loki就是今天我们要谈的主角，这个也是grafana 家的产品，promtail 则是 loki 的官方日志采集器。
与elk相比这一套方案非常轻量级，功能实用，使用起来简单易用，并且在展示上采用 grafana 减少引入可视化的框架，展示终端上的统一也有利于用户的使用。
（一） 日志新贵loki
Loki是受Prometheus启发的水平可扩展，高度可用的多租户日志聚合系统。它的设计具有很高的成本效益，并且易于操作。它不索引日志的内容，而是为每个日志流设置一组标签。
与其他日志聚合系统相比，Loki
不对日志进行全文本索引。通过存储压缩的，非结构化的日志以及仅索引元数据，Loki更加易于操作且运行成本更低。
使用与Prometheus相同的标签对日志流进行索引和分组，从而使您能够使用与Prometheus相同的标签在指标和日志之间无缝切换。
特别适合存储Kubernetes Pod日志。诸如Pod标签之类的元数据会自动被抓取并建立索引。
Grafana原生支持（需要Grafana v6.0以上）。
这段是loki 在 GitHub 上的介绍，可以看出这是一款为云原生而打造的轻量级日志聚合系统。目前社区非常活跃。而且采用 prometheus 类似的标签的思想，与 grafana 打通进行可视化展示，无论是思想还是用法都非常的“云原生”。
（二）♂️ 亲儿子Promtailpromtail 是 loki 的官方日志采集器，本身代码就在 loki 项目中。原生支持journal、syslog、file、docker类型的日志。采集器的本质无非都是根据模式找到要采集的文件，然后对着个文件进行类似tail的监控，再把写入文件的内容发送给存储端promtail 也是这样，上面这些类型的本质也都是文件，只不过这些类型的文件的格式是公开稳定的规范，promtail 可以预先对其进行进行更深解析与封装。
（三） Promtail 服务发现1、 找到文件作为一个采集器，其第一步自然是要找到文件在哪里，然后才能做下面的收集与打标签推送等功能。普通静态类型的日志是很好发现的，直接将你在配置文件中写的路径信息进行匹配即可，比如 promtail 中path为 "/var/log/*.log"即将 /var/log目录下所有的以.log 结尾的后缀文件作为要采集的对象即可。而要采集 k8s 模式内的日志就稍显麻烦。
首先我们想一下k8s 上跑的服务的日志到底是在哪里？
所以我们需要将这/var/log/pods 作为hostpath 挂载进 k8s 的容器内部，才能让 promtail 访问到这些日志。
2、 打上标签日志promtail可以访问到了，但是还有一个问题还是如何为区分这些日志，loki采用类似prometheus的思想，将数据打上标签。也就是将日志打上pod的标签，那么单单凭借这个路径自然是无法知道该pod上有哪些标签信息的。这里就需要用到服务发现了。
promtail的服务发现是直接采用的prometheus的服务发现做的。熟悉prometheus 的同学肯定配置过prometheus的服务发现的配置，kubernetes_sd_configs与relabel_configs。
这里promtail直接引入prometheus的代码，与prometheus不同的是prometheus请求的资源对对象比较多，node、ingress、pod、deployment 等等都有，最终拼接的是metric的请求url，而promtail请求的对象为pod，并且过滤掉了不在该主机上的 pod。
拿到该主机的pod的信息后，再根据namespace， pod 的 id 拼接路径，由于这个目录已经挂载进去容器了，那么promtail 就可以关联起容器的标签与容器的日志了。剩下的就是监控与推送了。
（四） PLG 最佳实践loki 官方推荐的最佳实践为采用 DamonSet部署 promtail 的方式，将 node 的 /var/lib/pods目录挂载进容器内部，借助prometheus 的服务发现机制动态的为日志加上标签，无论是资源的占用程度还是部署维护难度都是非常低。这也是主流的云原生日志采集范式。
三、数栈日志实践
（一）数栈日志需求
（二）️ 主机模式数栈主机模式日志聚合采用类似PLG DameonSet 的模式。每台主机部署一台 promtail，然后整个集群部署一套服务端 loki 与可视化端grafana。
promtail 采用static_configs定义采集的日志。但是promtail 毕竟还是太年轻了，定位偏向于云原生，所以针对主机功能还不够完善，因此我们做了一些二次开发满足我们的需求：
1、logtail 模式
原生 promtail 并不支持从文件尾部开始收集，当 promtail 启动后，会将监控的所有文件的内容都进行推送，这样的情况在云原生并没有太大问题.
主机模式下如果要监控的日志已经存在并且有大量的内容的话，promtail 启动会将文件的内容从头开始推送，短时间内造成大量的日志往loki推送，很大的概率会被 loki 限流导致推送失败。
所以最好的方式就是有类似 filebeat 的 logtail 的模式，及只推送服务启动后的文件写入的日志。
这个地方我们对此作了二次开发，增加一个logtail 模式的开关，如果该开关为 true，这第一次启动 promtail 的时候将不会从头推送日志。
2、path 支持多路径
原生 promtail 不支持多路径 path 参数只能写一个表达式，但是现实的需求可能是既要看业务的日志还要看 gc 的日志。
但是他们又是属于同一类别的标签。单个path的匹配无法涵盖其两个，不改代码的解决方法就是再为其写一个 target。
这样做繁琐且不利于维护。所以我们这里也对其做了二次开发
（三） 云原生模式传统的云原生模式采用 PLG 的主流模式就好了，但是数栈作为一整套系统对企业交付的时候有诸多限制会导致demoset模式并不可用，最大的挑战是权限，只有一个 namespace 的权限，不能挂载/var/lib/pods
在这种情况下如何使用 PLG呢？
其实主要变化的地方在于promtail的使用，这里首先要声明的一点是，数栈的服务的日志都为文件输出。
首先是选择damonset 模式部署还是sidecar模式部署，demonset模式的优点是节省资源，缺点是权限有要求。sidecar模式与之相反，为了适用更严格的交付条件，我们选择采用 sidecar 的模式进行采集。
sidecar 模式就是为当每个服务进行部署的时候就自动为其添加一个log容器，该容器与服务容器共同挂载一个共同的空的数据卷，服务容器将日志写入该数据卷中，log容器对数据卷下的日志进行采集
1、⛳ promtail 在数栈如何动态配置标签
通过sidecar的模式我们让log Container与Master Container共享一个日志目录，这样就promtail容器内就可以拿到了日志的文件，但是promtail还不知道要采集哪些日志，以及他的标签是什么。
因为你可能只想采集.log的日志，也可能只想采集.json的日志，或者都有的服务这个配置可能是不同的，所以也不能写死，那如何解决这个问题呢？
promtail 在 v2.10中新增加了一个feature ，就是可以在配置文件中引用环境变量，通过这个特性我们可以将promtail的path参数写成${LOG_PATH}，然后将服务的logpath以环境变量的方式设置进去比如LOG_PATH=/var/log/commonlog/*.log
既然我们可以通过环境变量的方式在服务创建的时候设置path，那么标签我们也可以动态的设置进去。那么我们都需什么维度的标签呢？这个不同的公司肯定有不同的维度，但是必须遵循的一个原则就是可以唯一确定该pod。一般的维度有deployment、podid、node等。这些标签在创建的时候就通过环境变量注入进去，而podid 这些环境变量利用的是k8s 的 downward api 的方式注入的。
注意：这里不可用使用 promtail 的服务发现机制配置标签，因为promtail 的服务发现的原理是请求 APIServer 获取所有pod 的标签。然后利用路径进行匹配，将标签与日志关联。在没有挂载宿主机/var/log/pods目录到promtail 时，即使拿到了标签也无法与日志进行关联。
2、⏰ promtail 在数栈如何部署
为每个服务增加一个Log Container如果手工操作的话实在是太繁琐了，而且不利于维护。最好的方式就将原本的服务抽象为是注册一个CRD，然后编写 k8s operator通过list&watch该类型的对象，在该对象创建的时候，动态的注入一个LogContainer，以及相应的环境变量和为其挂载共同目录。
这样当该CR创建的时候，promtail就作为sidecar注入了其中。并且读到的环境变量就是operator 动态设置的环境变量，灵活度非常高
四、总结
（一）数栈日志收集优势
（二）✈️未来规划
最后给大家分享一下数栈当前日志模块可视化的效果，是不是超级酷炫？
更多技术交流方式
想面对面的进行技术交流吗？想及时参与直播活动吗？可扫码加入钉钉群“袋鼠云开源框架技术交流群”（群号：30537511）
想体验更多的数栈开源项目吗？可以在Github社区搜索“FlinkX”开源项目
FlinkX开源项目地址：
查看全部
一、常规打法ELK
谈到日志收集，估计大家第一个想到的就是ELK这个比较成熟的方案，如果是特别针对云原生上的，那么将采集器稍微变一下为 Fluentd 组成 EFK 即可。以上两种方案其实没有本质上的区别，采集器换了换而已。最终存储、查询等等采用的还是 elasticsearch 这一套。
elasticsearch确实功能丰富、非常强大，但是代价也是极其昂贵的，elasticsearch 采用全文索引的方式，对存储以及内存的要求比较高，而这些代价换来的功能对于日常日志管理来说却是不常用的。这些缺点在主机模式下其实是可以容忍的，但在云原生模式下就显得比较臃肿了。
二、不讲武德PLG
PLG 是 promtail+loki+grafana 的合称，这是一套非常适合云原生下日志的采集方案。grafana 大家会比较熟悉，一个非常棒的可视化的框架，支持多种数据源。最常见的就是将prometheus的数据进行可视化展示。而loki就是今天我们要谈的主角，这个也是grafana 家的产品，promtail 则是 loki 的官方日志采集器。
与elk相比这一套方案非常轻量级，功能实用，使用起来简单易用，并且在展示上采用 grafana 减少引入可视化的框架，展示终端上的统一也有利于用户的使用。
（一） 日志新贵loki
Loki是受Prometheus启发的水平可扩展，高度可用的多租户日志聚合系统。它的设计具有很高的成本效益，并且易于操作。它不索引日志的内容，而是为每个日志流设置一组标签。
与其他日志聚合系统相比，Loki
不对日志进行全文本索引。通过存储压缩的，非结构化的日志以及仅索引元数据，Loki更加易于操作且运行成本更低。
使用与Prometheus相同的标签对日志流进行索引和分组，从而使您能够使用与Prometheus相同的标签在指标和日志之间无缝切换。
特别适合存储Kubernetes Pod日志。诸如Pod标签之类的元数据会自动被抓取并建立索引。
Grafana原生支持（需要Grafana v6.0以上）。
这段是loki 在 GitHub 上的介绍，可以看出这是一款为云原生而打造的轻量级日志聚合系统。目前社区非常活跃。而且采用 prometheus 类似的标签的思想，与 grafana 打通进行可视化展示，无论是思想还是用法都非常的“云原生”。
（二）♂️ 亲儿子Promtailpromtail 是 loki 的官方日志采集器，本身代码就在 loki 项目中。原生支持journal、syslog、file、docker类型的日志。采集器的本质无非都是根据模式找到要采集的文件，然后对着个文件进行类似tail的监控，再把写入文件的内容发送给存储端promtail 也是这样，上面这些类型的本质也都是文件，只不过这些类型的文件的格式是公开稳定的规范，promtail 可以预先对其进行进行更深解析与封装。
（三） Promtail 服务发现1、 找到文件作为一个采集器，其第一步自然是要找到文件在哪里，然后才能做下面的收集与打标签推送等功能。普通静态类型的日志是很好发现的，直接将你在配置文件中写的路径信息进行匹配即可，比如 promtail 中path为 "/var/log/*.log"即将 /var/log目录下所有的以.log 结尾的后缀文件作为要采集的对象即可。而要采集 k8s 模式内的日志就稍显麻烦。
首先我们想一下k8s 上跑的服务的日志到底是在哪里？
所以我们需要将这/var/log/pods 作为hostpath 挂载进 k8s 的容器内部，才能让 promtail 访问到这些日志。
2、 打上标签日志promtail可以访问到了，但是还有一个问题还是如何为区分这些日志，loki采用类似prometheus的思想，将数据打上标签。也就是将日志打上pod的标签，那么单单凭借这个路径自然是无法知道该pod上有哪些标签信息的。这里就需要用到服务发现了。
promtail的服务发现是直接采用的prometheus的服务发现做的。熟悉prometheus 的同学肯定配置过prometheus的服务发现的配置，kubernetes_sd_configs与relabel_configs。
这里promtail直接引入prometheus的代码，与prometheus不同的是prometheus请求的资源对对象比较多，node、ingress、pod、deployment 等等都有，最终拼接的是metric的请求url，而promtail请求的对象为pod，并且过滤掉了不在该主机上的 pod。
拿到该主机的pod的信息后，再根据namespace， pod 的 id 拼接路径，由于这个目录已经挂载进去容器了，那么promtail 就可以关联起容器的标签与容器的日志了。剩下的就是监控与推送了。
（四） PLG 最佳实践loki 官方推荐的最佳实践为采用 DamonSet部署 promtail 的方式，将 node 的 /var/lib/pods目录挂载进容器内部，借助prometheus 的服务发现机制动态的为日志加上标签，无论是资源的占用程度还是部署维护难度都是非常低。这也是主流的云原生日志采集范式。
三、数栈日志实践
（一）数栈日志需求
（二）️ 主机模式数栈主机模式日志聚合采用类似PLG DameonSet 的模式。每台主机部署一台 promtail，然后整个集群部署一套服务端 loki 与可视化端grafana。
promtail 采用static_configs定义采集的日志。但是promtail 毕竟还是太年轻了，定位偏向于云原生，所以针对主机功能还不够完善，因此我们做了一些二次开发满足我们的需求：
1、logtail 模式
原生 promtail 并不支持从文件尾部开始收集，当 promtail 启动后，会将监控的所有文件的内容都进行推送，这样的情况在云原生并没有太大问题.
主机模式下如果要监控的日志已经存在并且有大量的内容的话，promtail 启动会将文件的内容从头开始推送，短时间内造成大量的日志往loki推送，很大的概率会被 loki 限流导致推送失败。
所以最好的方式就是有类似 filebeat 的 logtail 的模式，及只推送服务启动后的文件写入的日志。
这个地方我们对此作了二次开发，增加一个logtail 模式的开关，如果该开关为 true，这第一次启动 promtail 的时候将不会从头推送日志。
2、path 支持多路径
原生 promtail 不支持多路径 path 参数只能写一个表达式，但是现实的需求可能是既要看业务的日志还要看 gc 的日志。
但是他们又是属于同一类别的标签。单个path的匹配无法涵盖其两个，不改代码的解决方法就是再为其写一个 target。
这样做繁琐且不利于维护。所以我们这里也对其做了二次开发
（三） 云原生模式传统的云原生模式采用 PLG 的主流模式就好了，但是数栈作为一整套系统对企业交付的时候有诸多限制会导致demoset模式并不可用，最大的挑战是权限，只有一个 namespace 的权限，不能挂载/var/lib/pods
在这种情况下如何使用 PLG呢？
其实主要变化的地方在于promtail的使用，这里首先要声明的一点是，数栈的服务的日志都为文件输出。
首先是选择damonset 模式部署还是sidecar模式部署，demonset模式的优点是节省资源，缺点是权限有要求。sidecar模式与之相反，为了适用更严格的交付条件，我们选择采用 sidecar 的模式进行采集。
sidecar 模式就是为当每个服务进行部署的时候就自动为其添加一个log容器，该容器与服务容器共同挂载一个共同的空的数据卷，服务容器将日志写入该数据卷中，log容器对数据卷下的日志进行采集
1、⛳ promtail 在数栈如何动态配置标签
通过sidecar的模式我们让log Container与Master Container共享一个日志目录，这样就promtail容器内就可以拿到了日志的文件，但是promtail还不知道要采集哪些日志，以及他的标签是什么。
因为你可能只想采集.log的日志，也可能只想采集.json的日志，或者都有的服务这个配置可能是不同的，所以也不能写死，那如何解决这个问题呢？
promtail 在 v2.10中新增加了一个feature ，就是可以在配置文件中引用环境变量，通过这个特性我们可以将promtail的path参数写成${LOG_PATH}，然后将服务的logpath以环境变量的方式设置进去比如LOG_PATH=/var/log/commonlog/*.log
既然我们可以通过环境变量的方式在服务创建的时候设置path，那么标签我们也可以动态的设置进去。那么我们都需什么维度的标签呢？这个不同的公司肯定有不同的维度，但是必须遵循的一个原则就是可以唯一确定该pod。一般的维度有deployment、podid、node等。这些标签在创建的时候就通过环境变量注入进去，而podid 这些环境变量利用的是k8s 的 downward api 的方式注入的。
注意：这里不可用使用 promtail 的服务发现机制配置标签，因为promtail 的服务发现的原理是请求 APIServer 获取所有pod 的标签。然后利用路径进行匹配，将标签与日志关联。在没有挂载宿主机/var/log/pods目录到promtail 时，即使拿到了标签也无法与日志进行关联。
2、⏰ promtail 在数栈如何部署
为每个服务增加一个Log Container如果手工操作的话实在是太繁琐了，而且不利于维护。最好的方式就将原本的服务抽象为是注册一个CRD，然后编写 k8s operator通过list&watch该类型的对象，在该对象创建的时候，动态的注入一个LogContainer，以及相应的环境变量和为其挂载共同目录。
这样当该CR创建的时候，promtail就作为sidecar注入了其中。并且读到的环境变量就是operator 动态设置的环境变量，灵活度非常高
四、总结
（一）数栈日志收集优势
（二）✈️未来规划
最后给大家分享一下数栈当前日志模块可视化的效果，是不是超级酷炫？
更多技术交流方式
想面对面的进行技术交流吗？想及时参与直播活动吗？可扫码加入钉钉群“袋鼠云开源框架技术交流群”（群号：30537511）
想体验更多的数栈开源项目吗？可以在Github社区搜索“FlinkX”开源项目
FlinkX开源项目地址：
查看全部
浅谈云原生系统日志收集在数栈的实践
一、常规打法ELK
谈到日志收集，估计大家第一个想到的就是ELK这个比较成熟的方案，如果是特别针对云原生上的，那么将采集器稍微变一下为 Fluentd 组成 EFK 即可。以上两种方案其实没有本质上的区别，采集器换了换而已。最终存储、查询等等采用的还是 elasticsearch 这一套。
elasticsearch确实功能丰富、非常强大，但是代价也是极其昂贵的，elasticsearch 采用全文索引的方式，对存储以及内存的要求比较高，而这些代价换来的功能对于日常日志管理来说却是不常用的。这些缺点在主机模式下其实是可以容忍的，但在云原生模式下就显得比较臃肿了。
二、不讲武德PLG
PLG 是 promtail+loki+grafana 的合称，这是一套非常适合云原生下日志的采集方案。grafana 大家会比较熟悉，一个非常棒的可视化的框架，支持多种数据源。最常见的就是将prometheus的数据进行可视化展示。而loki就是今天我们要谈的主角，这个也是grafana 家的产品，promtail 则是 loki 的官方日志采集器。
与elk相比这一套方案非常轻量级，功能实用，使用起来简单易用，并且在展示上采用 grafana 减少引入可视化的框架，展示终端上的统一也有利于用户的使用。
（一） 日志新贵loki
Loki是受Prometheus启发的水平可扩展，高度可用的多租户日志聚合系统。它的设计具有很高的成本效益，并且易于操作。它不索引日志的内容，而是为每个日志流设置一组标签。
与其他日志聚合系统相比，Loki
不对日志进行全文本索引。通过存储压缩的，非结构化的日志以及仅索引元数据，Loki更加易于操作且运行成本更低。
使用与Prometheus相同的标签对日志流进行索引和分组，从而使您能够使用与Prometheus相同的标签在指标和日志之间无缝切换。
特别适合存储Kubernetes Pod日志。诸如Pod标签之类的元数据会自动被抓取并建立索引。
Grafana原生支持（需要Grafana v6.0以上）。
这段是loki 在 GitHub 上的介绍，可以看出这是一款为云原生而打造的轻量级日志聚合系统。目前社区非常活跃。而且采用 prometheus 类似的标签的思想，与 grafana 打通进行可视化展示，无论是思想还是用法都非常的“云原生”。
（二）♂️ 亲儿子Promtailpromtail 是 loki 的官方日志采集器，本身代码就在 loki 项目中。原生支持journal、syslog、file、docker类型的日志。采集器的本质无非都是根据模式找到要采集的文件，然后对着个文件进行类似tail的监控，再把写入文件的内容发送给存储端promtail 也是这样，上面这些类型的本质也都是文件，只不过这些类型的文件的格式是公开稳定的规范，promtail 可以预先对其进行进行更深解析与封装。
（三） Promtail 服务发现1、 找到文件作为一个采集器，其第一步自然是要找到文件在哪里，然后才能做下面的收集与打标签推送等功能。普通静态类型的日志是很好发现的，直接将你在配置文件中写的路径信息进行匹配即可，比如 promtail 中path为 "/var/log/*.log"即将 /var/log目录下所有的以.log 结尾的后缀文件作为要采集的对象即可。而要采集 k8s 模式内的日志就稍显麻烦。
首先我们想一下k8s 上跑的服务的日志到底是在哪里？
所以我们需要将这/var/log/pods 作为hostpath 挂载进 k8s 的容器内部，才能让 promtail 访问到这些日志。
2、 打上标签日志promtail可以访问到了，但是还有一个问题还是如何为区分这些日志，loki采用类似prometheus的思想，将数据打上标签。也就是将日志打上pod的标签，那么单单凭借这个路径自然是无法知道该pod上有哪些标签信息的。这里就需要用到服务发现了。
promtail的服务发现是直接采用的prometheus的服务发现做的。熟悉prometheus 的同学肯定配置过prometheus的服务发现的配置，kubernetes_sd_configs与relabel_configs。
这里promtail直接引入prometheus的代码，与prometheus不同的是prometheus请求的资源对对象比较多，node、ingress、pod、deployment 等等都有，最终拼接的是metric的请求url，而promtail请求的对象为pod，并且过滤掉了不在该主机上的 pod。
拿到该主机的pod的信息后，再根据namespace， pod 的 id 拼接路径，由于这个目录已经挂载进去容器了，那么promtail 就可以关联起容器的标签与容器的日志了。剩下的就是监控与推送了。
（四） PLG 最佳实践loki 官方推荐的最佳实践为采用 DamonSet部署 promtail 的方式，将 node 的 /var/lib/pods目录挂载进容器内部，借助prometheus 的服务发现机制动态的为日志加上标签，无论是资源的占用程度还是部署维护难度都是非常低。这也是主流的云原生日志采集范式。
三、数栈日志实践
（一）数栈日志需求
（二）️ 主机模式数栈主机模式日志聚合采用类似PLG DameonSet 的模式。每台主机部署一台 promtail，然后整个集群部署一套服务端 loki 与可视化端grafana。
promtail 采用static_configs定义采集的日志。但是promtail 毕竟还是太年轻了，定位偏向于云原生，所以针对主机功能还不够完善，因此我们做了一些二次开发满足我们的需求：
1、logtail 模式
原生 promtail 并不支持从文件尾部开始收集，当 promtail 启动后，会将监控的所有文件的内容都进行推送，这样的情况在云原生并没有太大问题.
主机模式下如果要监控的日志已经存在并且有大量的内容的话，promtail 启动会将文件的内容从头开始推送，短时间内造成大量的日志往loki推送，很大的概率会被 loki 限流导致推送失败。
所以最好的方式就是有类似 filebeat 的 logtail 的模式，及只推送服务启动后的文件写入的日志。
这个地方我们对此作了二次开发，增加一个logtail 模式的开关，如果该开关为 true，这第一次启动 promtail 的时候将不会从头推送日志。
2、path 支持多路径
原生 promtail 不支持多路径 path 参数只能写一个表达式，但是现实的需求可能是既要看业务的日志还要看 gc 的日志。
但是他们又是属于同一类别的标签。单个path的匹配无法涵盖其两个，不改代码的解决方法就是再为其写一个 target。
这样做繁琐且不利于维护。所以我们这里也对其做了二次开发
（三） 云原生模式传统的云原生模式采用 PLG 的主流模式就好了，但是数栈作为一整套系统对企业交付的时候有诸多限制会导致demoset模式并不可用，最大的挑战是权限，只有一个 namespace 的权限，不能挂载/var/lib/pods
在这种情况下如何使用 PLG呢？
其实主要变化的地方在于promtail的使用，这里首先要声明的一点是，数栈的服务的日志都为文件输出。
首先是选择damonset 模式部署还是sidecar模式部署，demonset模式的优点是节省资源，缺点是权限有要求。sidecar模式与之相反，为了适用更严格的交付条件，我们选择采用 sidecar 的模式进行采集。
sidecar 模式就是为当每个服务进行部署的时候就自动为其添加一个log容器，该容器与服务容器共同挂载一个共同的空的数据卷，服务容器将日志写入该数据卷中，log容器对数据卷下的日志进行采集
1、⛳ promtail 在数栈如何动态配置标签
通过sidecar的模式我们让log Container与Master Container共享一个日志目录，这样就promtail容器内就可以拿到了日志的文件，但是promtail还不知道要采集哪些日志，以及他的标签是什么。
因为你可能只想采集.log的日志，也可能只想采集.json的日志，或者都有的服务这个配置可能是不同的，所以也不能写死，那如何解决这个问题呢？
promtail 在 v2.10中新增加了一个feature ，就是可以在配置文件中引用环境变量，通过这个特性我们可以将promtail的path参数写成${LOG_PATH}，然后将服务的logpath以环境变量的方式设置进去比如LOG_PATH=/var/log/commonlog/*.log
既然我们可以通过环境变量的方式在服务创建的时候设置path，那么标签我们也可以动态的设置进去。那么我们都需什么维度的标签呢？这个不同的公司肯定有不同的维度，但是必须遵循的一个原则就是可以唯一确定该pod。一般的维度有deployment、podid、node等。这些标签在创建的时候就通过环境变量注入进去，而podid 这些环境变量利用的是k8s 的 downward api 的方式注入的。
注意：这里不可用使用 promtail 的服务发现机制配置标签，因为promtail 的服务发现的原理是请求 APIServer 获取所有pod 的标签。然后利用路径进行匹配，将标签与日志关联。在没有挂载宿主机/var/log/pods目录到promtail 时，即使拿到了标签也无法与日志进行关联。
2、⏰ promtail 在数栈如何部署
为每个服务增加一个Log Container如果手工操作的话实在是太繁琐了，而且不利于维护。最好的方式就将原本的服务抽象为是注册一个CRD，然后编写 k8s operator通过list&watch该类型的对象，在该对象创建的时候，动态的注入一个LogContainer，以及相应的环境变量和为其挂载共同目录。
这样当该CR创建的时候，promtail就作为sidecar注入了其中。并且读到的环境变量就是operator 动态设置的环境变量，灵活度非常高
四、总结
（一）数栈日志收集优势
（二）✈️未来规划
最后给大家分享一下数栈当前日志模块可视化的效果，是不是超级酷炫？
更多技术交流方式
想面对面的进行技术交流吗？想及时参与直播活动吗？可扫码加入钉钉群“袋鼠云开源框架技术交流群”（群号：30537511）
想体验更多的数栈开源项目吗？可以在Github社区搜索“FlinkX”开源项目
FlinkX开源项目地址：
优采云云采集监控预警功能上线！
采集交流 • 优采云 发表了文章 • 0 个评论 • 106 次浏览 • 2022-06-19 06:42
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。
优采云云采集监控预警功能上线！
采集交流 • 优采云 发表了文章 • 0 个评论 • 110 次浏览 • 2022-06-18 18:14
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。
优采云云采集监控预警功能上线！
采集交流 • 优采云 发表了文章 • 0 个评论 • 107 次浏览 • 2022-06-15 21:09
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。
优采云云采集监控预警功能上线！
采集交流 • 优采云 发表了文章 • 0 个评论 • 103 次浏览 • 2022-06-14 09:52
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。
优采云云采集监控预警功能上线！
采集交流 • 优采云 发表了文章 • 0 个评论 • 81 次浏览 • 2022-06-13 19:34
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。
优采云云采集监控预警功能上线！
采集交流 • 优采云 发表了文章 • 0 个评论 • 86 次浏览 • 2022-06-12 14:29
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。
优采云云采集监控预警功能上线！
采集交流 • 优采云 发表了文章 • 0 个评论 • 165 次浏览 • 2022-06-11 08:40
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。
采集系统上云后，业务app只需在前端打开
采集交流 • 优采云 发表了文章 • 0 个评论 • 100 次浏览 • 2022-06-09 12:04
采集系统上云后，业务app只需在前端打开
采集系统上云后，业务app只需在前端打开一个服务器后端数据接口即可。云计算可以支持所有云产品共享，无论客户是做批量还是一对一订单，系统都可以提供服务。单独部署一套erp，自己做成本太高，再者一个产品对多个厂商来说其实并不适合，造成产品不匹配，甚至无法运作。
服务器架构的客户都不多，多数是要做批量的。怎么做一套erp服务呢？现在最火的是云数据库云平台，如aws，亚马逊，阿里云。两个都要支持多语言，ruby，python，java，php等。要部署在云上，还要支持5g带宽。再发展的大一点，可以做newsstand或社交云，slack或instaclip也可以，也是多语言。实际也可以有amazonec2，azure等多云产品。
basecampstuffingrowth还是一样的，
当然不需要，第一平台化客户多，不需要考虑多平台复用。第二大公司在推大客户战略，不大量建设自己的产品，怎么去和小公司竞争？第三资本都去挖大佬，开发人员没钱拿，更没多少钱搞这么多东西。
单独部署不太可能。任何一套服务器平台都是为了快速收集数据，内置一些计算资源以便快速获取数据。如果我是你的话，我把系统拆分成一个个小系统，每个系统自己专注于自己领域的数据收集。然后再通过这些系统再快速获取数据，收集后的数据有了过滤器和分类器， 查看全部
采集系统上云后，业务app只需在前端打开一个服务器后端数据接口即可。云计算可以支持所有云产品共享，无论客户是做批量还是一对一订单，系统都可以提供服务。单独部署一套erp，自己做成本太高，再者一个产品对多个厂商来说其实并不适合，造成产品不匹配，甚至无法运作。
服务器架构的客户都不多，多数是要做批量的。怎么做一套erp服务呢？现在最火的是云数据库云平台，如aws，亚马逊，阿里云。两个都要支持多语言，ruby，python，java，php等。要部署在云上，还要支持5g带宽。再发展的大一点，可以做newsstand或社交云，slack或instaclip也可以，也是多语言。实际也可以有amazonec2，azure等多云产品。
basecampstuffingrowth还是一样的，
当然不需要，第一平台化客户多，不需要考虑多平台复用。第二大公司在推大客户战略，不大量建设自己的产品，怎么去和小公司竞争？第三资本都去挖大佬，开发人员没钱拿，更没多少钱搞这么多东西。
单独部署不太可能。任何一套服务器平台都是为了快速收集数据，内置一些计算资源以便快速获取数据。如果我是你的话，我把系统拆分成一个个小系统，每个系统自己专注于自己领域的数据收集。然后再通过这些系统再快速获取数据，收集后的数据有了过滤器和分类器， 查看全部
采集系统上云后，业务app只需在前端打开
采集系统上云后，业务app只需在前端打开一个服务器后端数据接口即可。云计算可以支持所有云产品共享，无论客户是做批量还是一对一订单，系统都可以提供服务。单独部署一套erp，自己做成本太高，再者一个产品对多个厂商来说其实并不适合，造成产品不匹配，甚至无法运作。
服务器架构的客户都不多，多数是要做批量的。怎么做一套erp服务呢？现在最火的是云数据库云平台，如aws，亚马逊，阿里云。两个都要支持多语言，ruby，python，java，php等。要部署在云上，还要支持5g带宽。再发展的大一点，可以做newsstand或社交云，slack或instaclip也可以，也是多语言。实际也可以有amazonec2，azure等多云产品。
basecampstuffingrowth还是一样的，
当然不需要，第一平台化客户多，不需要考虑多平台复用。第二大公司在推大客户战略，不大量建设自己的产品，怎么去和小公司竞争？第三资本都去挖大佬，开发人员没钱拿，更没多少钱搞这么多东西。
单独部署不太可能。任何一套服务器平台都是为了快速收集数据，内置一些计算资源以便快速获取数据。如果我是你的话，我把系统拆分成一个个小系统，每个系统自己专注于自己领域的数据收集。然后再通过这些系统再快速获取数据，收集后的数据有了过滤器和分类器，
优采云云采集监控预警功能上线！
采集交流 • 优采云 发表了文章 • 0 个评论 • 107 次浏览 • 2022-06-06 18:44
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。
优采云云采集监控预警功能上线！
采集交流 • 优采云 发表了文章 • 0 个评论 • 108 次浏览 • 2022-06-05 07:16
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。
优采云云采集监控预警功能上线！
采集交流 • 优采云 发表了文章 • 0 个评论 • 133 次浏览 • 2022-06-04 18:12
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。
优采云云采集监控预警功能上线！
采集交流 • 优采云 发表了文章 • 0 个评论 • 84 次浏览 • 2022-05-31 21:04
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。
优采云云采集监控预警功能上线！
采集交流 • 优采云 发表了文章 • 0 个评论 • 103 次浏览 • 2022-05-31 09:38
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。
优采云云采集监控预警功能上线！
采集交流 • 优采云 发表了文章 • 0 个评论 • 110 次浏览 • 2022-05-28 18:56
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。
阿里云技术专家郝晨栋：云上可观测能力，问题的发现与定位实践
采集交流 • 优采云 发表了文章 • 0 个评论 • 216 次浏览 • 2022-08-17 18:55
阿里云技术专家郝晨栋：云上可观测能力，问题的发现与定位实践
凌云时刻
在7月初举行的「可观测，才可靠——云上自动化运维CloudOps系列沙龙第一弹」，阿里云弹性计算技术专家郝晨栋分享了《云上可观测能力：问题的发现与定位实践》本文根据其演讲内容整理而成。云服务器可观测能力价值
云服务器可观测性是指客户能够感知到服务器内部运行情况的能力，从而保证云上资源的可靠性。
与传统 IT 运维相比，上云 IT 的使用方式和运维方式发生了一些变化。比如，传统 IT 运维场景下，客户会自购机房、自购机器，操作的是硬件资源；而上云后，客户通过 OpenAPI 操作各种计算资源。同时，传统场景下，业务规模受限于机房或物理机；而得益于云上的弹性能力，客户能够轻松将业务规模扩大到上百台或上千台服务器。
上云后的运维也增加了诸多挑战和难度，需要云服务器的可观测性来解决。云服务器可观测的价值主要有以下三点：
阿里云针对提升云服务器的可观测能力提供了很多主流工具集，包含健康诊断、系统事件、云监控、ARMS 和操作审计。这些工具虽然定位和角度不一样，但其目的都是一致的，即为了让客户清晰感知到当前实例的健康状态，帮助快速发现问题，降低运维成本。使用自服务工具定位和分析典型问题
自服务工具 On-demand self-service 指用户能够自助获取计算资源或服务，而不必与服务供应商打交道。客户在云上经常面临的典型问题有比如实例无法启动、实例无法连接、操作不生效等。传统场景下，客户只能提交工单寻求售后支持，问题解决速度取决于客服对问题的理解程度或回复效率。而在自服务场景下，我们将典型的客户问题全部收纳到健康诊断工具集里，客户可以在控制台上自助发起诊断，进行问题解决，只需分钟级即可定位问题。
实例无法启动一般有两方面原因：
实例无法启动的情况下，阿里云诊断工具如何实现对实例操作系统内部的探测？以个人电脑操作系统为例，比如个人电脑坏了以后，通常会使用 U 盘作为修复盘，启动时进行调整，启动 U 盘再进行重装系统或修复，最后将修复盘卸载，电脑即可正常启动。诊断工具的工作原理类似，如上图左下方所示。如果客户操作系统无法正常启动，诊断工具会为客户挂载一块修复盘，并且会生成用于登录修复盘的临时密码等。修复盘挂载好以后，自动为客户启动实例，原先的系统盘会作为数据盘挂在现在的实例下，然后进行实时探测。如果发现问题，会给客户推荐具体的修复方案，客户可以根据修复方案解决问题。原先系统盘内的问题解决以后，将修复盘卸载，即可正常启动，整个流程对客户完全透明。
实例无法远程链接主要原因为 ECS 两个服务器之间无法连通以及 ECS 实例与公网 IP 无法连通。诊断工具支持三种类型输入，可以选择 ECS 实例、网卡或公网 IP。诊断工具会列出发起端和目的端之间的关键路径，比如实例账户本身状态、实例操作系统、当前实例所在交换机等关键路径，依次探测每个关键路径是否连通，最终得出结论。关键路径可以分为两大类，实例配置类和操作系统内配置。其中，实例配置类包括实例欠费、Vswitch 未放行流量、实例被锁定等；操作系统类主要借助云助手实时下发开源诊断命令，如果发现操作系统内存在问题，则会在修复方案里告知用户。网络连通性诊断报告里会显示无法连通的关键路径及其原因。
实例变更操作不生效指客户在控制台上做了一些变更，但结果与预期不符。这一类的问题难度较大，变更动作非常多，没有生效的原因也非常多。目前自服务诊断工具已经支持的诊断能力有云盘扩容未生效、重置密码不生效、实例变配不生效以及实例续费失效。比如客户云盘超过容量，在控制台上做了扩容，从 40G 扩容到 100G 。控制台上已经显示为 100G，但依然需要客户进入 OS 里做一些扩容命令才能真正生效，否则会导致业务受损。诊断工具有专门针对云盘扩容的专项诊断，如果发现客户实际生效磁盘与扩容大小不一致，会给用户推送扩容建议，避免客户业务受到损害。还有一类实例变更操作不生效是由于客户对产品规则不熟悉导致，诊断工具会给客户推送现在的产品规则。
上述典型问题都需要依靠客户在控制台上主动发起诊断，属于被动服务。而自服务能力背后的主动探测工具是对账系统。如果客户在云上使用的服务与实际运行的不一致，则会影响业务。因此，可以通过对账工具来保证客户在控制台上看到的与实际运行值一致。比如会比对控制台上客户看到的 IP 与实际 IP 是否一致等。通过客户主动发起诊断，再加上自服务工具背后的主动服务，来确保客户可观测到的数据与实际运行一致。下图为自服务诊断工具的诊断能力总览和用户场景。
诊断能力主要分为两大类，分别是问题排查和规则类。问题排查类又细分为操作系统和云平台类，目前已有大约 80 多种诊断能力；产品规则类目前已经提供了 30 多种能力。
阿里云平台诊断分析依赖于阿里云底层的数据采集。阿里云在全球有接近 30 多个地域、上百个可用区，每时每刻都有实时数据被采集上来，比如物理机、IDC 有机房、操作性能、串口日志等。这些基础日志是健康诊断工具的输入，有了这些底层数据，诊断才能做数据清洗、聚合计算、抽取与异常相关的特征，最后产出诊断根因。另一部分诊断能力与操作系统内客户的关系较为密切，通过在实例内安装云助手服务实现。客户发起诊断时，通过云助手在客户实例上执行开源脚本，进行实时数据收集，包括负载类和配置类，比如实时探测当前客户 OS 内的 CPU 、内存、 iOS 等负载类，或 DHCP、 IP 等配置类。阿里云平台诊断和操作系统内诊断两大能力共同组成了健康诊断服务。目前健康诊断服务已经输出到控制台上供云客户使用，也输出到内部给云产品使用，近期也将推出 OpenAPI。集成诊断实现自动化运维
对于没有自己运维平台的中小型客户，我们推荐直接在控制台上使用诊断产品，既方便又快捷，诊断产品还提供了诸多详细方案供客户参考。对于有自己运维系统的中大型用户，建议通过API的形式集成到自己的运维系统中，高效便捷。比如可以将监控系统与诊断做整合，监控系统发现实例负载不正常时，会直接调用诊断 API 并根据诊断结果做处理；可以将诊断服务集成到巡检系统里，每天对一些集群的核心实例做实时诊断，如果有异常则及时更换或扩容；可以将诊断服务集成到后台运维系统里，供值班人员使用，比如 RDS 实例发起诊断时，也可以同时对 ECS 层面发起诊断。
此外，诊断产品还结合了运维编排能力，开放了很多运维编排的公共模板，可以快速实现定时运维、事件驱动型运维，也提供了批量操作的能力，比如批量发起诊断或跨地域发起诊断等，以上能力都可以在 OS 控制台上直接使用公共脚本来实现。同时，还支持 ECS 产品根据诊断按结果来触发操作，比如诊断结果为当前实例负载过高，可以触发创建新实例或升配；如果诊断结果为云盘容量已经占满，可触发扩容命令等。展望
自服务诊断工具期望成为 ECS 产品问题定位和排查的总入口。近期我们会发布健康诊断的 Open API ，目前也正在密集开发更多的诊断能力。此外，在阿里云官方社区里也有建立了技术圈，供业内同仁在专业上交流分享。Q&A
自动诊断后为什么不执行自动修复？答：我们曾做过一些自动修复的尝试，但效果并不好。首先，部分修复动作存在风险；其次，修复动作可能需要用户授权。因此，最终我们决定只将修复方案方提供给客户。
问题发现和定位的精准度如何？答：诊断工具无法做到全面覆盖，目前主要以保证发生频率较高的问题为主。问题来源有三个渠道：第一类为客户工单，从发生频率较高的问题里评估哪些可以集成到诊断工具里；第二类是定期拜访一些 GC 3 以上的客户；第三类是平时团队内部的管控值班周报。点击下方“阅读原文”，观看作者的演讲视频回放。2.3.4.5.关注我们
欢迎关注加星标✨ 每日推送不错过 查看全部
凌云时刻
在7月初举行的「可观测，才可靠——云上自动化运维CloudOps系列沙龙第一弹」，阿里云弹性计算技术专家郝晨栋分享了《云上可观测能力：问题的发现与定位实践》本文根据其演讲内容整理而成。云服务器可观测能力价值
云服务器可观测性是指客户能够感知到服务器内部运行情况的能力，从而保证云上资源的可靠性。
与传统 IT 运维相比，上云 IT 的使用方式和运维方式发生了一些变化。比如，传统 IT 运维场景下，客户会自购机房、自购机器，操作的是硬件资源；而上云后，客户通过 OpenAPI 操作各种计算资源。同时，传统场景下，业务规模受限于机房或物理机；而得益于云上的弹性能力，客户能够轻松将业务规模扩大到上百台或上千台服务器。
上云后的运维也增加了诸多挑战和难度，需要云服务器的可观测性来解决。云服务器可观测的价值主要有以下三点：
阿里云针对提升云服务器的可观测能力提供了很多主流工具集，包含健康诊断、系统事件、云监控、ARMS 和操作审计。这些工具虽然定位和角度不一样，但其目的都是一致的，即为了让客户清晰感知到当前实例的健康状态，帮助快速发现问题，降低运维成本。使用自服务工具定位和分析典型问题
自服务工具 On-demand self-service 指用户能够自助获取计算资源或服务，而不必与服务供应商打交道。客户在云上经常面临的典型问题有比如实例无法启动、实例无法连接、操作不生效等。传统场景下，客户只能提交工单寻求售后支持，问题解决速度取决于客服对问题的理解程度或回复效率。而在自服务场景下，我们将典型的客户问题全部收纳到健康诊断工具集里，客户可以在控制台上自助发起诊断，进行问题解决，只需分钟级即可定位问题。
实例无法启动一般有两方面原因：
实例无法启动的情况下，阿里云诊断工具如何实现对实例操作系统内部的探测？以个人电脑操作系统为例，比如个人电脑坏了以后，通常会使用 U 盘作为修复盘，启动时进行调整，启动 U 盘再进行重装系统或修复，最后将修复盘卸载，电脑即可正常启动。诊断工具的工作原理类似，如上图左下方所示。如果客户操作系统无法正常启动，诊断工具会为客户挂载一块修复盘，并且会生成用于登录修复盘的临时密码等。修复盘挂载好以后，自动为客户启动实例，原先的系统盘会作为数据盘挂在现在的实例下，然后进行实时探测。如果发现问题，会给客户推荐具体的修复方案，客户可以根据修复方案解决问题。原先系统盘内的问题解决以后，将修复盘卸载，即可正常启动，整个流程对客户完全透明。
实例无法远程链接主要原因为 ECS 两个服务器之间无法连通以及 ECS 实例与公网 IP 无法连通。诊断工具支持三种类型输入，可以选择 ECS 实例、网卡或公网 IP。诊断工具会列出发起端和目的端之间的关键路径，比如实例账户本身状态、实例操作系统、当前实例所在交换机等关键路径，依次探测每个关键路径是否连通，最终得出结论。关键路径可以分为两大类，实例配置类和操作系统内配置。其中，实例配置类包括实例欠费、Vswitch 未放行流量、实例被锁定等；操作系统类主要借助云助手实时下发开源诊断命令，如果发现操作系统内存在问题，则会在修复方案里告知用户。网络连通性诊断报告里会显示无法连通的关键路径及其原因。
实例变更操作不生效指客户在控制台上做了一些变更，但结果与预期不符。这一类的问题难度较大，变更动作非常多，没有生效的原因也非常多。目前自服务诊断工具已经支持的诊断能力有云盘扩容未生效、重置密码不生效、实例变配不生效以及实例续费失效。比如客户云盘超过容量，在控制台上做了扩容，从 40G 扩容到 100G 。控制台上已经显示为 100G，但依然需要客户进入 OS 里做一些扩容命令才能真正生效，否则会导致业务受损。诊断工具有专门针对云盘扩容的专项诊断，如果发现客户实际生效磁盘与扩容大小不一致，会给用户推送扩容建议，避免客户业务受到损害。还有一类实例变更操作不生效是由于客户对产品规则不熟悉导致，诊断工具会给客户推送现在的产品规则。
上述典型问题都需要依靠客户在控制台上主动发起诊断，属于被动服务。而自服务能力背后的主动探测工具是对账系统。如果客户在云上使用的服务与实际运行的不一致，则会影响业务。因此，可以通过对账工具来保证客户在控制台上看到的与实际运行值一致。比如会比对控制台上客户看到的 IP 与实际 IP 是否一致等。通过客户主动发起诊断，再加上自服务工具背后的主动服务，来确保客户可观测到的数据与实际运行一致。下图为自服务诊断工具的诊断能力总览和用户场景。
诊断能力主要分为两大类，分别是问题排查和规则类。问题排查类又细分为操作系统和云平台类，目前已有大约 80 多种诊断能力；产品规则类目前已经提供了 30 多种能力。
阿里云平台诊断分析依赖于阿里云底层的数据采集。阿里云在全球有接近 30 多个地域、上百个可用区，每时每刻都有实时数据被采集上来，比如物理机、IDC 有机房、操作性能、串口日志等。这些基础日志是健康诊断工具的输入，有了这些底层数据，诊断才能做数据清洗、聚合计算、抽取与异常相关的特征，最后产出诊断根因。另一部分诊断能力与操作系统内客户的关系较为密切，通过在实例内安装云助手服务实现。客户发起诊断时，通过云助手在客户实例上执行开源脚本，进行实时数据收集，包括负载类和配置类，比如实时探测当前客户 OS 内的 CPU 、内存、 iOS 等负载类，或 DHCP、 IP 等配置类。阿里云平台诊断和操作系统内诊断两大能力共同组成了健康诊断服务。目前健康诊断服务已经输出到控制台上供云客户使用，也输出到内部给云产品使用，近期也将推出 OpenAPI。集成诊断实现自动化运维
对于没有自己运维平台的中小型客户，我们推荐直接在控制台上使用诊断产品，既方便又快捷，诊断产品还提供了诸多详细方案供客户参考。对于有自己运维系统的中大型用户，建议通过API的形式集成到自己的运维系统中，高效便捷。比如可以将监控系统与诊断做整合，监控系统发现实例负载不正常时，会直接调用诊断 API 并根据诊断结果做处理；可以将诊断服务集成到巡检系统里，每天对一些集群的核心实例做实时诊断，如果有异常则及时更换或扩容；可以将诊断服务集成到后台运维系统里，供值班人员使用，比如 RDS 实例发起诊断时，也可以同时对 ECS 层面发起诊断。
此外，诊断产品还结合了运维编排能力，开放了很多运维编排的公共模板，可以快速实现定时运维、事件驱动型运维，也提供了批量操作的能力，比如批量发起诊断或跨地域发起诊断等，以上能力都可以在 OS 控制台上直接使用公共脚本来实现。同时，还支持 ECS 产品根据诊断按结果来触发操作，比如诊断结果为当前实例负载过高，可以触发创建新实例或升配；如果诊断结果为云盘容量已经占满，可触发扩容命令等。展望
自服务诊断工具期望成为 ECS 产品问题定位和排查的总入口。近期我们会发布健康诊断的 Open API ，目前也正在密集开发更多的诊断能力。此外，在阿里云官方社区里也有建立了技术圈，供业内同仁在专业上交流分享。Q&A
自动诊断后为什么不执行自动修复？答：我们曾做过一些自动修复的尝试，但效果并不好。首先，部分修复动作存在风险；其次，修复动作可能需要用户授权。因此，最终我们决定只将修复方案方提供给客户。
问题发现和定位的精准度如何？答：诊断工具无法做到全面覆盖，目前主要以保证发生频率较高的问题为主。问题来源有三个渠道：第一类为客户工单，从发生频率较高的问题里评估哪些可以集成到诊断工具里；第二类是定期拜访一些 GC 3 以上的客户；第三类是平时团队内部的管控值班周报。点击下方“阅读原文”，观看作者的演讲视频回放。2.3.4.5.关注我们
欢迎关注加星标✨ 每日推送不错过 查看全部
阿里云技术专家郝晨栋：云上可观测能力，问题的发现与定位实践
凌云时刻
在7月初举行的「可观测，才可靠——云上自动化运维CloudOps系列沙龙第一弹」，阿里云弹性计算技术专家郝晨栋分享了《云上可观测能力：问题的发现与定位实践》本文根据其演讲内容整理而成。云服务器可观测能力价值
云服务器可观测性是指客户能够感知到服务器内部运行情况的能力，从而保证云上资源的可靠性。
与传统 IT 运维相比，上云 IT 的使用方式和运维方式发生了一些变化。比如，传统 IT 运维场景下，客户会自购机房、自购机器，操作的是硬件资源；而上云后，客户通过 OpenAPI 操作各种计算资源。同时，传统场景下，业务规模受限于机房或物理机；而得益于云上的弹性能力，客户能够轻松将业务规模扩大到上百台或上千台服务器。
上云后的运维也增加了诸多挑战和难度，需要云服务器的可观测性来解决。云服务器可观测的价值主要有以下三点：
阿里云针对提升云服务器的可观测能力提供了很多主流工具集，包含健康诊断、系统事件、云监控、ARMS 和操作审计。这些工具虽然定位和角度不一样，但其目的都是一致的，即为了让客户清晰感知到当前实例的健康状态，帮助快速发现问题，降低运维成本。使用自服务工具定位和分析典型问题
自服务工具 On-demand self-service 指用户能够自助获取计算资源或服务，而不必与服务供应商打交道。客户在云上经常面临的典型问题有比如实例无法启动、实例无法连接、操作不生效等。传统场景下，客户只能提交工单寻求售后支持，问题解决速度取决于客服对问题的理解程度或回复效率。而在自服务场景下，我们将典型的客户问题全部收纳到健康诊断工具集里，客户可以在控制台上自助发起诊断，进行问题解决，只需分钟级即可定位问题。
实例无法启动一般有两方面原因：
实例无法启动的情况下，阿里云诊断工具如何实现对实例操作系统内部的探测？以个人电脑操作系统为例，比如个人电脑坏了以后，通常会使用 U 盘作为修复盘，启动时进行调整，启动 U 盘再进行重装系统或修复，最后将修复盘卸载，电脑即可正常启动。诊断工具的工作原理类似，如上图左下方所示。如果客户操作系统无法正常启动，诊断工具会为客户挂载一块修复盘，并且会生成用于登录修复盘的临时密码等。修复盘挂载好以后，自动为客户启动实例，原先的系统盘会作为数据盘挂在现在的实例下，然后进行实时探测。如果发现问题，会给客户推荐具体的修复方案，客户可以根据修复方案解决问题。原先系统盘内的问题解决以后，将修复盘卸载，即可正常启动，整个流程对客户完全透明。
实例无法远程链接主要原因为 ECS 两个服务器之间无法连通以及 ECS 实例与公网 IP 无法连通。诊断工具支持三种类型输入，可以选择 ECS 实例、网卡或公网 IP。诊断工具会列出发起端和目的端之间的关键路径，比如实例账户本身状态、实例操作系统、当前实例所在交换机等关键路径，依次探测每个关键路径是否连通，最终得出结论。关键路径可以分为两大类，实例配置类和操作系统内配置。其中，实例配置类包括实例欠费、Vswitch 未放行流量、实例被锁定等；操作系统类主要借助云助手实时下发开源诊断命令，如果发现操作系统内存在问题，则会在修复方案里告知用户。网络连通性诊断报告里会显示无法连通的关键路径及其原因。
实例变更操作不生效指客户在控制台上做了一些变更，但结果与预期不符。这一类的问题难度较大，变更动作非常多，没有生效的原因也非常多。目前自服务诊断工具已经支持的诊断能力有云盘扩容未生效、重置密码不生效、实例变配不生效以及实例续费失效。比如客户云盘超过容量，在控制台上做了扩容，从 40G 扩容到 100G 。控制台上已经显示为 100G，但依然需要客户进入 OS 里做一些扩容命令才能真正生效，否则会导致业务受损。诊断工具有专门针对云盘扩容的专项诊断，如果发现客户实际生效磁盘与扩容大小不一致，会给用户推送扩容建议，避免客户业务受到损害。还有一类实例变更操作不生效是由于客户对产品规则不熟悉导致，诊断工具会给客户推送现在的产品规则。
上述典型问题都需要依靠客户在控制台上主动发起诊断，属于被动服务。而自服务能力背后的主动探测工具是对账系统。如果客户在云上使用的服务与实际运行的不一致，则会影响业务。因此，可以通过对账工具来保证客户在控制台上看到的与实际运行值一致。比如会比对控制台上客户看到的 IP 与实际 IP 是否一致等。通过客户主动发起诊断，再加上自服务工具背后的主动服务，来确保客户可观测到的数据与实际运行一致。下图为自服务诊断工具的诊断能力总览和用户场景。
诊断能力主要分为两大类，分别是问题排查和规则类。问题排查类又细分为操作系统和云平台类，目前已有大约 80 多种诊断能力；产品规则类目前已经提供了 30 多种能力。
阿里云平台诊断分析依赖于阿里云底层的数据采集。阿里云在全球有接近 30 多个地域、上百个可用区，每时每刻都有实时数据被采集上来，比如物理机、IDC 有机房、操作性能、串口日志等。这些基础日志是健康诊断工具的输入，有了这些底层数据，诊断才能做数据清洗、聚合计算、抽取与异常相关的特征，最后产出诊断根因。另一部分诊断能力与操作系统内客户的关系较为密切，通过在实例内安装云助手服务实现。客户发起诊断时，通过云助手在客户实例上执行开源脚本，进行实时数据收集，包括负载类和配置类，比如实时探测当前客户 OS 内的 CPU 、内存、 iOS 等负载类，或 DHCP、 IP 等配置类。阿里云平台诊断和操作系统内诊断两大能力共同组成了健康诊断服务。目前健康诊断服务已经输出到控制台上供云客户使用，也输出到内部给云产品使用，近期也将推出 OpenAPI。集成诊断实现自动化运维
对于没有自己运维平台的中小型客户，我们推荐直接在控制台上使用诊断产品，既方便又快捷，诊断产品还提供了诸多详细方案供客户参考。对于有自己运维系统的中大型用户，建议通过API的形式集成到自己的运维系统中，高效便捷。比如可以将监控系统与诊断做整合，监控系统发现实例负载不正常时，会直接调用诊断 API 并根据诊断结果做处理；可以将诊断服务集成到巡检系统里，每天对一些集群的核心实例做实时诊断，如果有异常则及时更换或扩容；可以将诊断服务集成到后台运维系统里，供值班人员使用，比如 RDS 实例发起诊断时，也可以同时对 ECS 层面发起诊断。
此外，诊断产品还结合了运维编排能力，开放了很多运维编排的公共模板，可以快速实现定时运维、事件驱动型运维，也提供了批量操作的能力，比如批量发起诊断或跨地域发起诊断等，以上能力都可以在 OS 控制台上直接使用公共脚本来实现。同时，还支持 ECS 产品根据诊断按结果来触发操作，比如诊断结果为当前实例负载过高，可以触发创建新实例或升配；如果诊断结果为云盘容量已经占满，可触发扩容命令等。展望
自服务诊断工具期望成为 ECS 产品问题定位和排查的总入口。近期我们会发布健康诊断的 Open API ，目前也正在密集开发更多的诊断能力。此外，在阿里云官方社区里也有建立了技术圈，供业内同仁在专业上交流分享。Q&A
自动诊断后为什么不执行自动修复？答：我们曾做过一些自动修复的尝试，但效果并不好。首先，部分修复动作存在风险；其次，修复动作可能需要用户授权。因此，最终我们决定只将修复方案方提供给客户。
问题发现和定位的精准度如何？答：诊断工具无法做到全面覆盖，目前主要以保证发生频率较高的问题为主。问题来源有三个渠道：第一类为客户工单，从发生频率较高的问题里评估哪些可以集成到诊断工具里；第二类是定期拜访一些 GC 3 以上的客户；第三类是平时团队内部的管控值班周报。点击下方“阅读原文”，观看作者的演讲视频回放。2.3.4.5.关注我们
欢迎关注加星标✨ 每日推送不错过
采集系统上云的意义太多，比马云做得好不止一两个
采集交流 • 优采云 发表了文章 • 0 个评论 • 114 次浏览 • 2022-08-14 21:04
采集系统上云的意义太多，比马云做得好不止一两个
采集系统上云的意义太多了，随便一个都可以是国内领先的、秒杀百度那样的公司，无数公司比马云做得好不止一两个。
1、各种特殊识别方式的便利性；
2、极快的采集效率；
3、真实全国地图数据的访问权限和访问速度；
4、各种精准的数据报告；
5、实时交互式的数据分析；
6、资产管理和数据分析的便利性。
除了不停的抓取、加速以外，有些点也是比较容易忽略的问题：地图地址很多时候会造成文件夹过大，容易无法发布原图的情况——也就是总是在同一个地址打包发布，不同站点的文件大小非常容易在最初估算出差异。全国、省份地址信息也有一些特殊性和不易度量的指标。
对于baidu来说，采集数据基本上是没有任何意义的。
看到地图上的二维码，其实是没有抓取到任何数据的。
1、二维码本身包含的openid，从而能知道这个url是否为官网，同时抓取到的二维码扫描次数，能直接判断你是否在他们平台有积分。所以不在这里一一列举。
2、二维码本身的签名，cookie中指定一个身份，你扫这个二维码时，服务器收到了数据包，会通过签名，校验该签名。（校验位置可能在二维码扫描过程中，也可能在终端客户端处理时）其实二维码就是个加密的二维码，二维码本身的加密算法可以对比他的空间分辨率是否符合一个二维码的要求。还有一种我不知道也不关心。像密码一样的东西，为什么他们说能破解，只是因为已知被识别的密码，人家通过机器学习等等复杂的手段还是能推出他们的签名算法，破解他们一个不大不小的二维码就成功，除非他们的二维码是真的破解不了。 查看全部
采集系统上云的意义太多了，随便一个都可以是国内领先的、秒杀百度那样的公司，无数公司比马云做得好不止一两个。
1、各种特殊识别方式的便利性；
2、极快的采集效率；
3、真实全国地图数据的访问权限和访问速度；
4、各种精准的数据报告；
5、实时交互式的数据分析；
6、资产管理和数据分析的便利性。
除了不停的抓取、加速以外，有些点也是比较容易忽略的问题：地图地址很多时候会造成文件夹过大，容易无法发布原图的情况——也就是总是在同一个地址打包发布，不同站点的文件大小非常容易在最初估算出差异。全国、省份地址信息也有一些特殊性和不易度量的指标。
对于baidu来说，采集数据基本上是没有任何意义的。
看到地图上的二维码，其实是没有抓取到任何数据的。
1、二维码本身包含的openid，从而能知道这个url是否为官网，同时抓取到的二维码扫描次数，能直接判断你是否在他们平台有积分。所以不在这里一一列举。
2、二维码本身的签名，cookie中指定一个身份，你扫这个二维码时，服务器收到了数据包，会通过签名，校验该签名。（校验位置可能在二维码扫描过程中，也可能在终端客户端处理时）其实二维码就是个加密的二维码，二维码本身的加密算法可以对比他的空间分辨率是否符合一个二维码的要求。还有一种我不知道也不关心。像密码一样的东西，为什么他们说能破解，只是因为已知被识别的密码，人家通过机器学习等等复杂的手段还是能推出他们的签名算法，破解他们一个不大不小的二维码就成功，除非他们的二维码是真的破解不了。 查看全部
采集系统上云的意义太多，比马云做得好不止一两个
采集系统上云的意义太多了，随便一个都可以是国内领先的、秒杀百度那样的公司，无数公司比马云做得好不止一两个。
1、各种特殊识别方式的便利性；
2、极快的采集效率；
3、真实全国地图数据的访问权限和访问速度；
4、各种精准的数据报告；
5、实时交互式的数据分析；
6、资产管理和数据分析的便利性。
除了不停的抓取、加速以外，有些点也是比较容易忽略的问题：地图地址很多时候会造成文件夹过大，容易无法发布原图的情况——也就是总是在同一个地址打包发布，不同站点的文件大小非常容易在最初估算出差异。全国、省份地址信息也有一些特殊性和不易度量的指标。
对于baidu来说，采集数据基本上是没有任何意义的。
看到地图上的二维码，其实是没有抓取到任何数据的。
1、二维码本身包含的openid，从而能知道这个url是否为官网，同时抓取到的二维码扫描次数，能直接判断你是否在他们平台有积分。所以不在这里一一列举。
2、二维码本身的签名，cookie中指定一个身份，你扫这个二维码时，服务器收到了数据包，会通过签名，校验该签名。（校验位置可能在二维码扫描过程中，也可能在终端客户端处理时）其实二维码就是个加密的二维码，二维码本身的加密算法可以对比他的空间分辨率是否符合一个二维码的要求。还有一种我不知道也不关心。像密码一样的东西，为什么他们说能破解，只是因为已知被识别的密码，人家通过机器学习等等复杂的手段还是能推出他们的签名算法，破解他们一个不大不小的二维码就成功，除非他们的二维码是真的破解不了。
中国人事云推送信息数据有什么成功的探索经验？
采集交流 • 优采云 发表了文章 • 0 个评论 • 83 次浏览 • 2022-08-06 14:02
中国人事云推送信息数据有什么成功的探索经验？
采集系统上云之后可以在电脑手机平板app直接访问云端数据库，查询访问，这个技术已经是公开的秘密，不要说上市之后，就是现在一些集团公司it部门都都在研究。系统本身自带大量的设备以及管理，像影视放映机，机房里面各种应用模块，led大屏幕，san等等，你都可以随意访问使用。国内市场现在一个比较主流的创业项目，就是中国人事云推送信息数据这个，可以在云平台大数据信息上做深度挖掘。就看你在大数据方面有什么成功的探索经验，打算怎么去弄了。
我有一个逻辑，是，不管是哪个技术，一定是有历史久远的基础积累在里面的。只不过这个文件系统有点复杂，你暂时还用不上罢了。
中国人事云:从事信息化的工作要有一些门槛和知识，才能使你站在时代的前沿，而这是光靠个人工作经验是无法具体完成的。很多是行业新人如果缺乏系统专业的训练是无法胜任的。目前国内大多数企业，因为缺乏信息化或者信息化的经验，在应用大数据解决一些实际问题的时候，会受制于厂商的一些技术型培训，而少了许多试错和实践，反而最终放弃了。
正因为此，很多人事开始关注用前端的技术作为基础，利用现有成熟的工具与模块来完成一个大而全的erp系统，这样性价比才高，才能保证一个高效运营。因此我们目前开发了人事云系统，从原有erp系统基础上，加入人事信息化理念，并结合目前可以利用到的云端大数据能力来打造一个一站式人事管理平台。目前为止已经开发出一些客户级应用，公司也在加紧推广使用，不仅如此，我们还找到了国内很多成熟的竞争对手，包括阿里和腾讯，他们都推出了自己的产品，不停地锤炼和完善。
我们在努力的跑赢未来的市场，让很多有梦想的工作和生活都有一个地方，能够尽快的成长起来。现在我们可以给大家发布一个预告，招聘几个熟悉人事的全职工作，我希望你是全职工作，待遇看你的能力了，最好是有一定的社会经验，最好在专业上可以熟悉些业务，岗位不限。已经有很多工作经验的朋友了，对人事不满意，我们可以实现跨部门，跨岗位，跨公司甚至跨国家，但这个得有人去做，等你有信心可以走到这一步之后，我们再开始招聘第二批。招聘岗位如下:。 查看全部
采集系统上云之后可以在电脑手机平板app直接访问云端数据库，查询访问，这个技术已经是公开的秘密，不要说上市之后，就是现在一些集团公司it部门都都在研究。系统本身自带大量的设备以及管理，像影视放映机，机房里面各种应用模块，led大屏幕，san等等，你都可以随意访问使用。国内市场现在一个比较主流的创业项目，就是中国人事云推送信息数据这个，可以在云平台大数据信息上做深度挖掘。就看你在大数据方面有什么成功的探索经验，打算怎么去弄了。
我有一个逻辑，是，不管是哪个技术，一定是有历史久远的基础积累在里面的。只不过这个文件系统有点复杂，你暂时还用不上罢了。
中国人事云:从事信息化的工作要有一些门槛和知识，才能使你站在时代的前沿，而这是光靠个人工作经验是无法具体完成的。很多是行业新人如果缺乏系统专业的训练是无法胜任的。目前国内大多数企业，因为缺乏信息化或者信息化的经验，在应用大数据解决一些实际问题的时候，会受制于厂商的一些技术型培训，而少了许多试错和实践，反而最终放弃了。
正因为此，很多人事开始关注用前端的技术作为基础，利用现有成熟的工具与模块来完成一个大而全的erp系统，这样性价比才高，才能保证一个高效运营。因此我们目前开发了人事云系统，从原有erp系统基础上，加入人事信息化理念，并结合目前可以利用到的云端大数据能力来打造一个一站式人事管理平台。目前为止已经开发出一些客户级应用，公司也在加紧推广使用，不仅如此，我们还找到了国内很多成熟的竞争对手，包括阿里和腾讯，他们都推出了自己的产品，不停地锤炼和完善。
我们在努力的跑赢未来的市场，让很多有梦想的工作和生活都有一个地方，能够尽快的成长起来。现在我们可以给大家发布一个预告，招聘几个熟悉人事的全职工作，我希望你是全职工作，待遇看你的能力了，最好是有一定的社会经验，最好在专业上可以熟悉些业务，岗位不限。已经有很多工作经验的朋友了，对人事不满意，我们可以实现跨部门，跨岗位，跨公司甚至跨国家，但这个得有人去做，等你有信心可以走到这一步之后，我们再开始招聘第二批。招聘岗位如下:。 查看全部
中国人事云推送信息数据有什么成功的探索经验？
采集系统上云之后可以在电脑手机平板app直接访问云端数据库，查询访问，这个技术已经是公开的秘密，不要说上市之后，就是现在一些集团公司it部门都都在研究。系统本身自带大量的设备以及管理，像影视放映机，机房里面各种应用模块，led大屏幕，san等等，你都可以随意访问使用。国内市场现在一个比较主流的创业项目，就是中国人事云推送信息数据这个，可以在云平台大数据信息上做深度挖掘。就看你在大数据方面有什么成功的探索经验，打算怎么去弄了。
我有一个逻辑，是，不管是哪个技术，一定是有历史久远的基础积累在里面的。只不过这个文件系统有点复杂，你暂时还用不上罢了。
中国人事云:从事信息化的工作要有一些门槛和知识，才能使你站在时代的前沿，而这是光靠个人工作经验是无法具体完成的。很多是行业新人如果缺乏系统专业的训练是无法胜任的。目前国内大多数企业，因为缺乏信息化或者信息化的经验，在应用大数据解决一些实际问题的时候，会受制于厂商的一些技术型培训，而少了许多试错和实践，反而最终放弃了。
正因为此，很多人事开始关注用前端的技术作为基础，利用现有成熟的工具与模块来完成一个大而全的erp系统，这样性价比才高，才能保证一个高效运营。因此我们目前开发了人事云系统，从原有erp系统基础上，加入人事信息化理念，并结合目前可以利用到的云端大数据能力来打造一个一站式人事管理平台。目前为止已经开发出一些客户级应用，公司也在加紧推广使用，不仅如此，我们还找到了国内很多成熟的竞争对手，包括阿里和腾讯，他们都推出了自己的产品，不停地锤炼和完善。
我们在努力的跑赢未来的市场，让很多有梦想的工作和生活都有一个地方，能够尽快的成长起来。现在我们可以给大家发布一个预告，招聘几个熟悉人事的全职工作，我希望你是全职工作，待遇看你的能力了，最好是有一定的社会经验，最好在专业上可以熟悉些业务，岗位不限。已经有很多工作经验的朋友了，对人事不满意，我们可以实现跨部门，跨岗位，跨公司甚至跨国家，但这个得有人去做，等你有信心可以走到这一步之后，我们再开始招聘第二批。招聘岗位如下:。
采集系统上云的前提要考虑的问题有哪些？
采集交流 • 优采云 发表了文章 • 0 个评论 • 138 次浏览 • 2022-07-23 21:02
采集系统上云的前提要考虑的问题有哪些？
采集系统上云的前提要考虑的问题有很多：信息收集的质量、信息收集的数量、数据的同步等。不过我个人认为应该首先做到的一点是要让浏览器能够快速接收到数据而非需要数据搜索才能搜索到。因此我认为对于这个采集系统有个比较简单的方案，一方面是通过数据源写代码，一方面是通过自己的实现原理和架构来写服务器或者云平台，主要是采集的数据量大小而定。
数据资源商业化转换的三大类服务：1.提供底层数据接口；2.提供具体业务系统技术方案；3.提供分析服务。深入采集的系统，例如基于地理位置查询各地的整个底层数据的，个人认为是不会单独成立的。有关整个系统实现的细节可以对照我前面给到的做法来看。再推荐一些重点类网站：谷歌、百度、yahoo、infosys等等。
数据采集比较关键的特点：1.要采集一手的数据；2.收集的数据要易于统计和分析；3.数据上架需要考虑的因素很多，包括网站的结构、数据采集的速度、集中式集中式系统的架构等。前面已经提到，深入采集虽然目的是为了做好一个数据管理工具，但我想深入采集本身也可以作为一种共享服务存在，尤其是在开放的云上。
1.一定要是使用p2p原理的采集系统，本地直接构建一个p2p分布式的采集节点，可以有多个节点互相访问，不需要和其他网站提供的数据源对接，进行了p2p后如果需要在a网站进行数据的处理同样可以从b采集。2.要对采集到的数据进行分析，同时这些数据需要保存在服务器中。3.数据分析要根据数据的特点来分析，针对不同特点可以制定不同的数据分析方案。
数据采集的核心需求：1.不同类型的数据定义等，同时和对应的数据接口采集数据。2.采集数据的速度和质量等，数据处理的速度要保证每秒600以上，然后尽量短时间内打开。3.数据接口要实时更新。整个后台处理流程可以分为数据接口接入与数据传输等流程。流程上分为前端和后端两个层次，前端如微信，后端如erp，应用软件。4.整个采集项目的实施流程必须得有一定的实施保障。 查看全部
采集系统上云的前提要考虑的问题有很多：信息收集的质量、信息收集的数量、数据的同步等。不过我个人认为应该首先做到的一点是要让浏览器能够快速接收到数据而非需要数据搜索才能搜索到。因此我认为对于这个采集系统有个比较简单的方案，一方面是通过数据源写代码，一方面是通过自己的实现原理和架构来写服务器或者云平台，主要是采集的数据量大小而定。
数据资源商业化转换的三大类服务：1.提供底层数据接口；2.提供具体业务系统技术方案；3.提供分析服务。深入采集的系统，例如基于地理位置查询各地的整个底层数据的，个人认为是不会单独成立的。有关整个系统实现的细节可以对照我前面给到的做法来看。再推荐一些重点类网站：谷歌、百度、yahoo、infosys等等。
数据采集比较关键的特点：1.要采集一手的数据；2.收集的数据要易于统计和分析；3.数据上架需要考虑的因素很多，包括网站的结构、数据采集的速度、集中式集中式系统的架构等。前面已经提到，深入采集虽然目的是为了做好一个数据管理工具，但我想深入采集本身也可以作为一种共享服务存在，尤其是在开放的云上。
1.一定要是使用p2p原理的采集系统，本地直接构建一个p2p分布式的采集节点，可以有多个节点互相访问，不需要和其他网站提供的数据源对接，进行了p2p后如果需要在a网站进行数据的处理同样可以从b采集。2.要对采集到的数据进行分析，同时这些数据需要保存在服务器中。3.数据分析要根据数据的特点来分析，针对不同特点可以制定不同的数据分析方案。
数据采集的核心需求：1.不同类型的数据定义等，同时和对应的数据接口采集数据。2.采集数据的速度和质量等，数据处理的速度要保证每秒600以上，然后尽量短时间内打开。3.数据接口要实时更新。整个后台处理流程可以分为数据接口接入与数据传输等流程。流程上分为前端和后端两个层次，前端如微信，后端如erp，应用软件。4.整个采集项目的实施流程必须得有一定的实施保障。 查看全部
采集系统上云的前提要考虑的问题有哪些？
采集系统上云的前提要考虑的问题有很多：信息收集的质量、信息收集的数量、数据的同步等。不过我个人认为应该首先做到的一点是要让浏览器能够快速接收到数据而非需要数据搜索才能搜索到。因此我认为对于这个采集系统有个比较简单的方案，一方面是通过数据源写代码，一方面是通过自己的实现原理和架构来写服务器或者云平台，主要是采集的数据量大小而定。
数据资源商业化转换的三大类服务：1.提供底层数据接口；2.提供具体业务系统技术方案；3.提供分析服务。深入采集的系统，例如基于地理位置查询各地的整个底层数据的，个人认为是不会单独成立的。有关整个系统实现的细节可以对照我前面给到的做法来看。再推荐一些重点类网站：谷歌、百度、yahoo、infosys等等。
数据采集比较关键的特点：1.要采集一手的数据；2.收集的数据要易于统计和分析；3.数据上架需要考虑的因素很多，包括网站的结构、数据采集的速度、集中式集中式系统的架构等。前面已经提到，深入采集虽然目的是为了做好一个数据管理工具，但我想深入采集本身也可以作为一种共享服务存在，尤其是在开放的云上。
1.一定要是使用p2p原理的采集系统，本地直接构建一个p2p分布式的采集节点，可以有多个节点互相访问，不需要和其他网站提供的数据源对接，进行了p2p后如果需要在a网站进行数据的处理同样可以从b采集。2.要对采集到的数据进行分析，同时这些数据需要保存在服务器中。3.数据分析要根据数据的特点来分析，针对不同特点可以制定不同的数据分析方案。
数据采集的核心需求：1.不同类型的数据定义等，同时和对应的数据接口采集数据。2.采集数据的速度和质量等，数据处理的速度要保证每秒600以上，然后尽量短时间内打开。3.数据接口要实时更新。整个后台处理流程可以分为数据接口接入与数据传输等流程。流程上分为前端和后端两个层次，前端如微信，后端如erp，应用软件。4.整个采集项目的实施流程必须得有一定的实施保障。
揭秘区块链共识算法如何影响市场上所有支付系统的行为
采集交流 • 优采云 发表了文章 • 0 个评论 • 83 次浏览 • 2022-07-11 15:01
揭秘区块链共识算法如何影响市场上所有支付系统的行为
采集系统上云后，接入的数据均可以进行轻松统计分析，不再需要花费大量的时间与精力在日常运营工作中，接入平台部署简单，数据可被多层分析解读，本文将通过通证应用实践案例，为您揭秘区块链共识算法如何影响目前市场上所有支付系统的行为。共识算法共识算法在现在支付中起到关键性作用，它的好坏直接影响了将来平台所有平台业务的发展，目前的支付市场中大部分是基于p2p的共识算法，这种架构中所有的交易由一个系统（p系统）统一进行处理，信息也都会传递到所有的交易节点（t），支付的场景则不同于p2p，平台本身没有实际的动作，转账则是由双方共同完成的，对于转账需要进行支付保证金，那么共识保证金的概念应该怎么理解呢？简单说就是对账交易转账一方需要通过银行进行一系列增减银行准备金的行为，就是增加账上的银行准备金（支付保证金）越多则转账越多，共识保证金就是支付保证金，整个转账交易中就会增加保证金且能够保证双方都需要增加这笔转账，整个转账转账一方不需要增加保证金，那么共识保证金就会增加，那共识保证金会增加到什么程度呢？举个例子：cto只需要让交易中的支付方增加一笔转账（t），那么支付的共识保证金会在0.01个btc左右，平台交易由于有支付保证金双方共识时需要增加0.01*ctobtc。
当然理论数据无法支撑目前的实际业务，接下来看更多实际项目落地的例子。基于多节点共识算法实现的监控平台在项目前期存在一定的难度，用户一个不留神就有可能将系统的各个环节遗忘，导致整个平台的运维团队的大量的工作是为了维护整个平台，而不是用户，也就意味着整个项目难以维护。oxchainoxchain是一个类似于xmpp（即时通讯）的中间件，提供了简单而高效的消息通道协议，并且提供了许多应用场景，如“大规模异步通信”的概念被基于这一通道协议和oxchain的可用c++库实现。
oxchain提供了一个不错的语言api，使用者可以自定义各种不同的消息格式，还提供了一些通用工具包，提供了各种中间人加密协议（bootstrap），以及一个privatec++api，允许运维和开发者直接去管理这个消息通道。算法我们接下来主要研究oxchain消息通道协议模块，算法是代码实现的核心，用户首先要实现复杂的raft协议模块，比如对不同消息进行选举/推举一个entity，一个entity又要有chain，这都是算法的核心基础设施部分，除此之外，代码里面还会实现一个消息发送路由和消息接收路由算法。按照目前项目前期来看，整个项目目前没有什么难度，但是随着技术的成熟，根据时间进度来看。 查看全部
采集系统上云后，接入的数据均可以进行轻松统计分析，不再需要花费大量的时间与精力在日常运营工作中，接入平台部署简单，数据可被多层分析解读，本文将通过通证应用实践案例，为您揭秘区块链共识算法如何影响目前市场上所有支付系统的行为。共识算法共识算法在现在支付中起到关键性作用，它的好坏直接影响了将来平台所有平台业务的发展，目前的支付市场中大部分是基于p2p的共识算法，这种架构中所有的交易由一个系统（p系统）统一进行处理，信息也都会传递到所有的交易节点（t），支付的场景则不同于p2p，平台本身没有实际的动作，转账则是由双方共同完成的，对于转账需要进行支付保证金，那么共识保证金的概念应该怎么理解呢？简单说就是对账交易转账一方需要通过银行进行一系列增减银行准备金的行为，就是增加账上的银行准备金（支付保证金）越多则转账越多，共识保证金就是支付保证金，整个转账交易中就会增加保证金且能够保证双方都需要增加这笔转账，整个转账转账一方不需要增加保证金，那么共识保证金就会增加，那共识保证金会增加到什么程度呢？举个例子：cto只需要让交易中的支付方增加一笔转账（t），那么支付的共识保证金会在0.01个btc左右，平台交易由于有支付保证金双方共识时需要增加0.01*ctobtc。
当然理论数据无法支撑目前的实际业务，接下来看更多实际项目落地的例子。基于多节点共识算法实现的监控平台在项目前期存在一定的难度，用户一个不留神就有可能将系统的各个环节遗忘，导致整个平台的运维团队的大量的工作是为了维护整个平台，而不是用户，也就意味着整个项目难以维护。oxchainoxchain是一个类似于xmpp（即时通讯）的中间件，提供了简单而高效的消息通道协议，并且提供了许多应用场景，如“大规模异步通信”的概念被基于这一通道协议和oxchain的可用c++库实现。
oxchain提供了一个不错的语言api，使用者可以自定义各种不同的消息格式，还提供了一些通用工具包，提供了各种中间人加密协议（bootstrap），以及一个privatec++api，允许运维和开发者直接去管理这个消息通道。算法我们接下来主要研究oxchain消息通道协议模块，算法是代码实现的核心，用户首先要实现复杂的raft协议模块，比如对不同消息进行选举/推举一个entity，一个entity又要有chain，这都是算法的核心基础设施部分，除此之外，代码里面还会实现一个消息发送路由和消息接收路由算法。按照目前项目前期来看，整个项目目前没有什么难度，但是随着技术的成熟，根据时间进度来看。 查看全部
揭秘区块链共识算法如何影响市场上所有支付系统的行为
采集系统上云后，接入的数据均可以进行轻松统计分析，不再需要花费大量的时间与精力在日常运营工作中，接入平台部署简单，数据可被多层分析解读，本文将通过通证应用实践案例，为您揭秘区块链共识算法如何影响目前市场上所有支付系统的行为。共识算法共识算法在现在支付中起到关键性作用，它的好坏直接影响了将来平台所有平台业务的发展，目前的支付市场中大部分是基于p2p的共识算法，这种架构中所有的交易由一个系统（p系统）统一进行处理，信息也都会传递到所有的交易节点（t），支付的场景则不同于p2p，平台本身没有实际的动作，转账则是由双方共同完成的，对于转账需要进行支付保证金，那么共识保证金的概念应该怎么理解呢？简单说就是对账交易转账一方需要通过银行进行一系列增减银行准备金的行为，就是增加账上的银行准备金（支付保证金）越多则转账越多，共识保证金就是支付保证金，整个转账交易中就会增加保证金且能够保证双方都需要增加这笔转账，整个转账转账一方不需要增加保证金，那么共识保证金就会增加，那共识保证金会增加到什么程度呢？举个例子：cto只需要让交易中的支付方增加一笔转账（t），那么支付的共识保证金会在0.01个btc左右，平台交易由于有支付保证金双方共识时需要增加0.01*ctobtc。
当然理论数据无法支撑目前的实际业务，接下来看更多实际项目落地的例子。基于多节点共识算法实现的监控平台在项目前期存在一定的难度，用户一个不留神就有可能将系统的各个环节遗忘，导致整个平台的运维团队的大量的工作是为了维护整个平台，而不是用户，也就意味着整个项目难以维护。oxchainoxchain是一个类似于xmpp（即时通讯）的中间件，提供了简单而高效的消息通道协议，并且提供了许多应用场景，如“大规模异步通信”的概念被基于这一通道协议和oxchain的可用c++库实现。
oxchain提供了一个不错的语言api，使用者可以自定义各种不同的消息格式，还提供了一些通用工具包，提供了各种中间人加密协议（bootstrap），以及一个privatec++api，允许运维和开发者直接去管理这个消息通道。算法我们接下来主要研究oxchain消息通道协议模块，算法是代码实现的核心，用户首先要实现复杂的raft协议模块，比如对不同消息进行选举/推举一个entity，一个entity又要有chain，这都是算法的核心基础设施部分，除此之外，代码里面还会实现一个消息发送路由和消息接收路由算法。按照目前项目前期来看，整个项目目前没有什么难度，但是随着技术的成熟，根据时间进度来看。
浅谈云原生系统日志收集在数栈的实践
采集交流 • 优采云 发表了文章 • 0 个评论 • 60 次浏览 • 2022-06-19 22:29
浅谈云原生系统日志收集在数栈的实践
一、常规打法ELK
谈到日志收集，估计大家第一个想到的就是ELK这个比较成熟的方案，如果是特别针对云原生上的，那么将采集器稍微变一下为 Fluentd 组成 EFK 即可。以上两种方案其实没有本质上的区别，采集器换了换而已。最终存储、查询等等采用的还是 elasticsearch 这一套。
elasticsearch确实功能丰富、非常强大，但是代价也是极其昂贵的，elasticsearch 采用全文索引的方式，对存储以及内存的要求比较高，而这些代价换来的功能对于日常日志管理来说却是不常用的。这些缺点在主机模式下其实是可以容忍的，但在云原生模式下就显得比较臃肿了。
二、不讲武德PLG
PLG 是 promtail+loki+grafana 的合称，这是一套非常适合云原生下日志的采集方案。grafana 大家会比较熟悉，一个非常棒的可视化的框架，支持多种数据源。最常见的就是将prometheus的数据进行可视化展示。而loki就是今天我们要谈的主角，这个也是grafana 家的产品，promtail 则是 loki 的官方日志采集器。
与elk相比这一套方案非常轻量级，功能实用，使用起来简单易用，并且在展示上采用 grafana 减少引入可视化的框架，展示终端上的统一也有利于用户的使用。
（一） 日志新贵loki
Loki是受Prometheus启发的水平可扩展，高度可用的多租户日志聚合系统。它的设计具有很高的成本效益，并且易于操作。它不索引日志的内容，而是为每个日志流设置一组标签。
与其他日志聚合系统相比，Loki
不对日志进行全文本索引。通过存储压缩的，非结构化的日志以及仅索引元数据，Loki更加易于操作且运行成本更低。
使用与Prometheus相同的标签对日志流进行索引和分组，从而使您能够使用与Prometheus相同的标签在指标和日志之间无缝切换。
特别适合存储Kubernetes Pod日志。诸如Pod标签之类的元数据会自动被抓取并建立索引。
Grafana原生支持（需要Grafana v6.0以上）。
这段是loki 在 GitHub 上的介绍，可以看出这是一款为云原生而打造的轻量级日志聚合系统。目前社区非常活跃。而且采用 prometheus 类似的标签的思想，与 grafana 打通进行可视化展示，无论是思想还是用法都非常的“云原生”。
（二）♂️ 亲儿子Promtailpromtail 是 loki 的官方日志采集器，本身代码就在 loki 项目中。原生支持journal、syslog、file、docker类型的日志。采集器的本质无非都是根据模式找到要采集的文件，然后对着个文件进行类似tail的监控，再把写入文件的内容发送给存储端promtail 也是这样，上面这些类型的本质也都是文件，只不过这些类型的文件的格式是公开稳定的规范，promtail 可以预先对其进行进行更深解析与封装。
（三） Promtail 服务发现1、 找到文件作为一个采集器，其第一步自然是要找到文件在哪里，然后才能做下面的收集与打标签推送等功能。普通静态类型的日志是很好发现的，直接将你在配置文件中写的路径信息进行匹配即可，比如 promtail 中path为 "/var/log/*.log"即将 /var/log目录下所有的以.log 结尾的后缀文件作为要采集的对象即可。而要采集 k8s 模式内的日志就稍显麻烦。
首先我们想一下k8s 上跑的服务的日志到底是在哪里？
所以我们需要将这/var/log/pods 作为hostpath 挂载进 k8s 的容器内部，才能让 promtail 访问到这些日志。
2、 打上标签日志promtail可以访问到了，但是还有一个问题还是如何为区分这些日志，loki采用类似prometheus的思想，将数据打上标签。也就是将日志打上pod的标签，那么单单凭借这个路径自然是无法知道该pod上有哪些标签信息的。这里就需要用到服务发现了。
promtail的服务发现是直接采用的prometheus的服务发现做的。熟悉prometheus 的同学肯定配置过prometheus的服务发现的配置，kubernetes_sd_configs与relabel_configs。
这里promtail直接引入prometheus的代码，与prometheus不同的是prometheus请求的资源对对象比较多，node、ingress、pod、deployment 等等都有，最终拼接的是metric的请求url，而promtail请求的对象为pod，并且过滤掉了不在该主机上的 pod。
拿到该主机的pod的信息后，再根据namespace， pod 的 id 拼接路径，由于这个目录已经挂载进去容器了，那么promtail 就可以关联起容器的标签与容器的日志了。剩下的就是监控与推送了。
（四） PLG 最佳实践loki 官方推荐的最佳实践为采用 DamonSet部署 promtail 的方式，将 node 的 /var/lib/pods目录挂载进容器内部，借助prometheus 的服务发现机制动态的为日志加上标签，无论是资源的占用程度还是部署维护难度都是非常低。这也是主流的云原生日志采集范式。
三、数栈日志实践
（一）数栈日志需求
（二）️ 主机模式数栈主机模式日志聚合采用类似PLG DameonSet 的模式。每台主机部署一台 promtail，然后整个集群部署一套服务端 loki 与可视化端grafana。
promtail 采用static_configs定义采集的日志。但是promtail 毕竟还是太年轻了，定位偏向于云原生，所以针对主机功能还不够完善，因此我们做了一些二次开发满足我们的需求：
1、logtail 模式
原生 promtail 并不支持从文件尾部开始收集，当 promtail 启动后，会将监控的所有文件的内容都进行推送，这样的情况在云原生并没有太大问题.
主机模式下如果要监控的日志已经存在并且有大量的内容的话，promtail 启动会将文件的内容从头开始推送，短时间内造成大量的日志往loki推送，很大的概率会被 loki 限流导致推送失败。
所以最好的方式就是有类似 filebeat 的 logtail 的模式，及只推送服务启动后的文件写入的日志。
这个地方我们对此作了二次开发，增加一个logtail 模式的开关，如果该开关为 true，这第一次启动 promtail 的时候将不会从头推送日志。
2、path 支持多路径
原生 promtail 不支持多路径 path 参数只能写一个表达式，但是现实的需求可能是既要看业务的日志还要看 gc 的日志。
但是他们又是属于同一类别的标签。单个path的匹配无法涵盖其两个，不改代码的解决方法就是再为其写一个 target。
这样做繁琐且不利于维护。所以我们这里也对其做了二次开发
（三） 云原生模式传统的云原生模式采用 PLG 的主流模式就好了，但是数栈作为一整套系统对企业交付的时候有诸多限制会导致demoset模式并不可用，最大的挑战是权限，只有一个 namespace 的权限，不能挂载/var/lib/pods
在这种情况下如何使用 PLG呢？
其实主要变化的地方在于promtail的使用，这里首先要声明的一点是，数栈的服务的日志都为文件输出。
首先是选择damonset 模式部署还是sidecar模式部署，demonset模式的优点是节省资源，缺点是权限有要求。sidecar模式与之相反，为了适用更严格的交付条件，我们选择采用 sidecar 的模式进行采集。
sidecar 模式就是为当每个服务进行部署的时候就自动为其添加一个log容器，该容器与服务容器共同挂载一个共同的空的数据卷，服务容器将日志写入该数据卷中，log容器对数据卷下的日志进行采集
1、⛳ promtail 在数栈如何动态配置标签
通过sidecar的模式我们让log Container与Master Container共享一个日志目录，这样就promtail容器内就可以拿到了日志的文件，但是promtail还不知道要采集哪些日志，以及他的标签是什么。
因为你可能只想采集.log的日志，也可能只想采集.json的日志，或者都有的服务这个配置可能是不同的，所以也不能写死，那如何解决这个问题呢？
promtail 在 v2.10中新增加了一个feature ，就是可以在配置文件中引用环境变量，通过这个特性我们可以将promtail的path参数写成${LOG_PATH}，然后将服务的logpath以环境变量的方式设置进去比如LOG_PATH=/var/log/commonlog/*.log
既然我们可以通过环境变量的方式在服务创建的时候设置path，那么标签我们也可以动态的设置进去。那么我们都需什么维度的标签呢？这个不同的公司肯定有不同的维度，但是必须遵循的一个原则就是可以唯一确定该pod。一般的维度有deployment、podid、node等。这些标签在创建的时候就通过环境变量注入进去，而podid 这些环境变量利用的是k8s 的 downward api 的方式注入的。
注意：这里不可用使用 promtail 的服务发现机制配置标签，因为promtail 的服务发现的原理是请求 APIServer 获取所有pod 的标签。然后利用路径进行匹配，将标签与日志关联。在没有挂载宿主机/var/log/pods目录到promtail 时，即使拿到了标签也无法与日志进行关联。
2、⏰ promtail 在数栈如何部署
为每个服务增加一个Log Container如果手工操作的话实在是太繁琐了，而且不利于维护。最好的方式就将原本的服务抽象为是注册一个CRD，然后编写 k8s operator通过list&watch该类型的对象，在该对象创建的时候，动态的注入一个LogContainer，以及相应的环境变量和为其挂载共同目录。
这样当该CR创建的时候，promtail就作为sidecar注入了其中。并且读到的环境变量就是operator 动态设置的环境变量，灵活度非常高
四、总结
（一）数栈日志收集优势
（二）✈️未来规划
最后给大家分享一下数栈当前日志模块可视化的效果，是不是超级酷炫？
更多技术交流方式
想面对面的进行技术交流吗？想及时参与直播活动吗？可扫码加入钉钉群“袋鼠云开源框架技术交流群”（群号：30537511）
想体验更多的数栈开源项目吗？可以在Github社区搜索“FlinkX”开源项目
FlinkX开源项目地址：
查看全部
一、常规打法ELK
谈到日志收集，估计大家第一个想到的就是ELK这个比较成熟的方案，如果是特别针对云原生上的，那么将采集器稍微变一下为 Fluentd 组成 EFK 即可。以上两种方案其实没有本质上的区别，采集器换了换而已。最终存储、查询等等采用的还是 elasticsearch 这一套。
elasticsearch确实功能丰富、非常强大，但是代价也是极其昂贵的，elasticsearch 采用全文索引的方式，对存储以及内存的要求比较高，而这些代价换来的功能对于日常日志管理来说却是不常用的。这些缺点在主机模式下其实是可以容忍的，但在云原生模式下就显得比较臃肿了。
二、不讲武德PLG
PLG 是 promtail+loki+grafana 的合称，这是一套非常适合云原生下日志的采集方案。grafana 大家会比较熟悉，一个非常棒的可视化的框架，支持多种数据源。最常见的就是将prometheus的数据进行可视化展示。而loki就是今天我们要谈的主角，这个也是grafana 家的产品，promtail 则是 loki 的官方日志采集器。
与elk相比这一套方案非常轻量级，功能实用，使用起来简单易用，并且在展示上采用 grafana 减少引入可视化的框架，展示终端上的统一也有利于用户的使用。
（一） 日志新贵loki
Loki是受Prometheus启发的水平可扩展，高度可用的多租户日志聚合系统。它的设计具有很高的成本效益，并且易于操作。它不索引日志的内容，而是为每个日志流设置一组标签。
与其他日志聚合系统相比，Loki
不对日志进行全文本索引。通过存储压缩的，非结构化的日志以及仅索引元数据，Loki更加易于操作且运行成本更低。
使用与Prometheus相同的标签对日志流进行索引和分组，从而使您能够使用与Prometheus相同的标签在指标和日志之间无缝切换。
特别适合存储Kubernetes Pod日志。诸如Pod标签之类的元数据会自动被抓取并建立索引。
Grafana原生支持（需要Grafana v6.0以上）。
这段是loki 在 GitHub 上的介绍，可以看出这是一款为云原生而打造的轻量级日志聚合系统。目前社区非常活跃。而且采用 prometheus 类似的标签的思想，与 grafana 打通进行可视化展示，无论是思想还是用法都非常的“云原生”。
（二）♂️ 亲儿子Promtailpromtail 是 loki 的官方日志采集器，本身代码就在 loki 项目中。原生支持journal、syslog、file、docker类型的日志。采集器的本质无非都是根据模式找到要采集的文件，然后对着个文件进行类似tail的监控，再把写入文件的内容发送给存储端promtail 也是这样，上面这些类型的本质也都是文件，只不过这些类型的文件的格式是公开稳定的规范，promtail 可以预先对其进行进行更深解析与封装。
（三） Promtail 服务发现1、 找到文件作为一个采集器，其第一步自然是要找到文件在哪里，然后才能做下面的收集与打标签推送等功能。普通静态类型的日志是很好发现的，直接将你在配置文件中写的路径信息进行匹配即可，比如 promtail 中path为 "/var/log/*.log"即将 /var/log目录下所有的以.log 结尾的后缀文件作为要采集的对象即可。而要采集 k8s 模式内的日志就稍显麻烦。
首先我们想一下k8s 上跑的服务的日志到底是在哪里？
所以我们需要将这/var/log/pods 作为hostpath 挂载进 k8s 的容器内部，才能让 promtail 访问到这些日志。
2、 打上标签日志promtail可以访问到了，但是还有一个问题还是如何为区分这些日志，loki采用类似prometheus的思想，将数据打上标签。也就是将日志打上pod的标签，那么单单凭借这个路径自然是无法知道该pod上有哪些标签信息的。这里就需要用到服务发现了。
promtail的服务发现是直接采用的prometheus的服务发现做的。熟悉prometheus 的同学肯定配置过prometheus的服务发现的配置，kubernetes_sd_configs与relabel_configs。
这里promtail直接引入prometheus的代码，与prometheus不同的是prometheus请求的资源对对象比较多，node、ingress、pod、deployment 等等都有，最终拼接的是metric的请求url，而promtail请求的对象为pod，并且过滤掉了不在该主机上的 pod。
拿到该主机的pod的信息后，再根据namespace， pod 的 id 拼接路径，由于这个目录已经挂载进去容器了，那么promtail 就可以关联起容器的标签与容器的日志了。剩下的就是监控与推送了。
（四） PLG 最佳实践loki 官方推荐的最佳实践为采用 DamonSet部署 promtail 的方式，将 node 的 /var/lib/pods目录挂载进容器内部，借助prometheus 的服务发现机制动态的为日志加上标签，无论是资源的占用程度还是部署维护难度都是非常低。这也是主流的云原生日志采集范式。
三、数栈日志实践
（一）数栈日志需求
（二）️ 主机模式数栈主机模式日志聚合采用类似PLG DameonSet 的模式。每台主机部署一台 promtail，然后整个集群部署一套服务端 loki 与可视化端grafana。
promtail 采用static_configs定义采集的日志。但是promtail 毕竟还是太年轻了，定位偏向于云原生，所以针对主机功能还不够完善，因此我们做了一些二次开发满足我们的需求：
1、logtail 模式
原生 promtail 并不支持从文件尾部开始收集，当 promtail 启动后，会将监控的所有文件的内容都进行推送，这样的情况在云原生并没有太大问题.
主机模式下如果要监控的日志已经存在并且有大量的内容的话，promtail 启动会将文件的内容从头开始推送，短时间内造成大量的日志往loki推送，很大的概率会被 loki 限流导致推送失败。
所以最好的方式就是有类似 filebeat 的 logtail 的模式，及只推送服务启动后的文件写入的日志。
这个地方我们对此作了二次开发，增加一个logtail 模式的开关，如果该开关为 true，这第一次启动 promtail 的时候将不会从头推送日志。
2、path 支持多路径
原生 promtail 不支持多路径 path 参数只能写一个表达式，但是现实的需求可能是既要看业务的日志还要看 gc 的日志。
但是他们又是属于同一类别的标签。单个path的匹配无法涵盖其两个，不改代码的解决方法就是再为其写一个 target。
这样做繁琐且不利于维护。所以我们这里也对其做了二次开发
（三） 云原生模式传统的云原生模式采用 PLG 的主流模式就好了，但是数栈作为一整套系统对企业交付的时候有诸多限制会导致demoset模式并不可用，最大的挑战是权限，只有一个 namespace 的权限，不能挂载/var/lib/pods
在这种情况下如何使用 PLG呢？
其实主要变化的地方在于promtail的使用，这里首先要声明的一点是，数栈的服务的日志都为文件输出。
首先是选择damonset 模式部署还是sidecar模式部署，demonset模式的优点是节省资源，缺点是权限有要求。sidecar模式与之相反，为了适用更严格的交付条件，我们选择采用 sidecar 的模式进行采集。
sidecar 模式就是为当每个服务进行部署的时候就自动为其添加一个log容器，该容器与服务容器共同挂载一个共同的空的数据卷，服务容器将日志写入该数据卷中，log容器对数据卷下的日志进行采集
1、⛳ promtail 在数栈如何动态配置标签
通过sidecar的模式我们让log Container与Master Container共享一个日志目录，这样就promtail容器内就可以拿到了日志的文件，但是promtail还不知道要采集哪些日志，以及他的标签是什么。
因为你可能只想采集.log的日志，也可能只想采集.json的日志，或者都有的服务这个配置可能是不同的，所以也不能写死，那如何解决这个问题呢？
promtail 在 v2.10中新增加了一个feature ，就是可以在配置文件中引用环境变量，通过这个特性我们可以将promtail的path参数写成${LOG_PATH}，然后将服务的logpath以环境变量的方式设置进去比如LOG_PATH=/var/log/commonlog/*.log
既然我们可以通过环境变量的方式在服务创建的时候设置path，那么标签我们也可以动态的设置进去。那么我们都需什么维度的标签呢？这个不同的公司肯定有不同的维度，但是必须遵循的一个原则就是可以唯一确定该pod。一般的维度有deployment、podid、node等。这些标签在创建的时候就通过环境变量注入进去，而podid 这些环境变量利用的是k8s 的 downward api 的方式注入的。
注意：这里不可用使用 promtail 的服务发现机制配置标签，因为promtail 的服务发现的原理是请求 APIServer 获取所有pod 的标签。然后利用路径进行匹配，将标签与日志关联。在没有挂载宿主机/var/log/pods目录到promtail 时，即使拿到了标签也无法与日志进行关联。
2、⏰ promtail 在数栈如何部署
为每个服务增加一个Log Container如果手工操作的话实在是太繁琐了，而且不利于维护。最好的方式就将原本的服务抽象为是注册一个CRD，然后编写 k8s operator通过list&watch该类型的对象，在该对象创建的时候，动态的注入一个LogContainer，以及相应的环境变量和为其挂载共同目录。
这样当该CR创建的时候，promtail就作为sidecar注入了其中。并且读到的环境变量就是operator 动态设置的环境变量，灵活度非常高
四、总结
（一）数栈日志收集优势
（二）✈️未来规划
最后给大家分享一下数栈当前日志模块可视化的效果，是不是超级酷炫？
更多技术交流方式
想面对面的进行技术交流吗？想及时参与直播活动吗？可扫码加入钉钉群“袋鼠云开源框架技术交流群”（群号：30537511）
想体验更多的数栈开源项目吗？可以在Github社区搜索“FlinkX”开源项目
FlinkX开源项目地址：
查看全部
浅谈云原生系统日志收集在数栈的实践
一、常规打法ELK
谈到日志收集，估计大家第一个想到的就是ELK这个比较成熟的方案，如果是特别针对云原生上的，那么将采集器稍微变一下为 Fluentd 组成 EFK 即可。以上两种方案其实没有本质上的区别，采集器换了换而已。最终存储、查询等等采用的还是 elasticsearch 这一套。
elasticsearch确实功能丰富、非常强大，但是代价也是极其昂贵的，elasticsearch 采用全文索引的方式，对存储以及内存的要求比较高，而这些代价换来的功能对于日常日志管理来说却是不常用的。这些缺点在主机模式下其实是可以容忍的，但在云原生模式下就显得比较臃肿了。
二、不讲武德PLG
PLG 是 promtail+loki+grafana 的合称，这是一套非常适合云原生下日志的采集方案。grafana 大家会比较熟悉，一个非常棒的可视化的框架，支持多种数据源。最常见的就是将prometheus的数据进行可视化展示。而loki就是今天我们要谈的主角，这个也是grafana 家的产品，promtail 则是 loki 的官方日志采集器。
与elk相比这一套方案非常轻量级，功能实用，使用起来简单易用，并且在展示上采用 grafana 减少引入可视化的框架，展示终端上的统一也有利于用户的使用。
（一） 日志新贵loki
Loki是受Prometheus启发的水平可扩展，高度可用的多租户日志聚合系统。它的设计具有很高的成本效益，并且易于操作。它不索引日志的内容，而是为每个日志流设置一组标签。
与其他日志聚合系统相比，Loki
不对日志进行全文本索引。通过存储压缩的，非结构化的日志以及仅索引元数据，Loki更加易于操作且运行成本更低。
使用与Prometheus相同的标签对日志流进行索引和分组，从而使您能够使用与Prometheus相同的标签在指标和日志之间无缝切换。
特别适合存储Kubernetes Pod日志。诸如Pod标签之类的元数据会自动被抓取并建立索引。
Grafana原生支持（需要Grafana v6.0以上）。
这段是loki 在 GitHub 上的介绍，可以看出这是一款为云原生而打造的轻量级日志聚合系统。目前社区非常活跃。而且采用 prometheus 类似的标签的思想，与 grafana 打通进行可视化展示，无论是思想还是用法都非常的“云原生”。
（二）♂️ 亲儿子Promtailpromtail 是 loki 的官方日志采集器，本身代码就在 loki 项目中。原生支持journal、syslog、file、docker类型的日志。采集器的本质无非都是根据模式找到要采集的文件，然后对着个文件进行类似tail的监控，再把写入文件的内容发送给存储端promtail 也是这样，上面这些类型的本质也都是文件，只不过这些类型的文件的格式是公开稳定的规范，promtail 可以预先对其进行进行更深解析与封装。
（三） Promtail 服务发现1、 找到文件作为一个采集器，其第一步自然是要找到文件在哪里，然后才能做下面的收集与打标签推送等功能。普通静态类型的日志是很好发现的，直接将你在配置文件中写的路径信息进行匹配即可，比如 promtail 中path为 "/var/log/*.log"即将 /var/log目录下所有的以.log 结尾的后缀文件作为要采集的对象即可。而要采集 k8s 模式内的日志就稍显麻烦。
首先我们想一下k8s 上跑的服务的日志到底是在哪里？
所以我们需要将这/var/log/pods 作为hostpath 挂载进 k8s 的容器内部，才能让 promtail 访问到这些日志。
2、 打上标签日志promtail可以访问到了，但是还有一个问题还是如何为区分这些日志，loki采用类似prometheus的思想，将数据打上标签。也就是将日志打上pod的标签，那么单单凭借这个路径自然是无法知道该pod上有哪些标签信息的。这里就需要用到服务发现了。
promtail的服务发现是直接采用的prometheus的服务发现做的。熟悉prometheus 的同学肯定配置过prometheus的服务发现的配置，kubernetes_sd_configs与relabel_configs。
这里promtail直接引入prometheus的代码，与prometheus不同的是prometheus请求的资源对对象比较多，node、ingress、pod、deployment 等等都有，最终拼接的是metric的请求url，而promtail请求的对象为pod，并且过滤掉了不在该主机上的 pod。
拿到该主机的pod的信息后，再根据namespace， pod 的 id 拼接路径，由于这个目录已经挂载进去容器了，那么promtail 就可以关联起容器的标签与容器的日志了。剩下的就是监控与推送了。
（四） PLG 最佳实践loki 官方推荐的最佳实践为采用 DamonSet部署 promtail 的方式，将 node 的 /var/lib/pods目录挂载进容器内部，借助prometheus 的服务发现机制动态的为日志加上标签，无论是资源的占用程度还是部署维护难度都是非常低。这也是主流的云原生日志采集范式。
三、数栈日志实践
（一）数栈日志需求
（二）️ 主机模式数栈主机模式日志聚合采用类似PLG DameonSet 的模式。每台主机部署一台 promtail，然后整个集群部署一套服务端 loki 与可视化端grafana。
promtail 采用static_configs定义采集的日志。但是promtail 毕竟还是太年轻了，定位偏向于云原生，所以针对主机功能还不够完善，因此我们做了一些二次开发满足我们的需求：
1、logtail 模式
原生 promtail 并不支持从文件尾部开始收集，当 promtail 启动后，会将监控的所有文件的内容都进行推送，这样的情况在云原生并没有太大问题.
主机模式下如果要监控的日志已经存在并且有大量的内容的话，promtail 启动会将文件的内容从头开始推送，短时间内造成大量的日志往loki推送，很大的概率会被 loki 限流导致推送失败。
所以最好的方式就是有类似 filebeat 的 logtail 的模式，及只推送服务启动后的文件写入的日志。
这个地方我们对此作了二次开发，增加一个logtail 模式的开关，如果该开关为 true，这第一次启动 promtail 的时候将不会从头推送日志。
2、path 支持多路径
原生 promtail 不支持多路径 path 参数只能写一个表达式，但是现实的需求可能是既要看业务的日志还要看 gc 的日志。
但是他们又是属于同一类别的标签。单个path的匹配无法涵盖其两个，不改代码的解决方法就是再为其写一个 target。
这样做繁琐且不利于维护。所以我们这里也对其做了二次开发
（三） 云原生模式传统的云原生模式采用 PLG 的主流模式就好了，但是数栈作为一整套系统对企业交付的时候有诸多限制会导致demoset模式并不可用，最大的挑战是权限，只有一个 namespace 的权限，不能挂载/var/lib/pods
在这种情况下如何使用 PLG呢？
其实主要变化的地方在于promtail的使用，这里首先要声明的一点是，数栈的服务的日志都为文件输出。
首先是选择damonset 模式部署还是sidecar模式部署，demonset模式的优点是节省资源，缺点是权限有要求。sidecar模式与之相反，为了适用更严格的交付条件，我们选择采用 sidecar 的模式进行采集。
sidecar 模式就是为当每个服务进行部署的时候就自动为其添加一个log容器，该容器与服务容器共同挂载一个共同的空的数据卷，服务容器将日志写入该数据卷中，log容器对数据卷下的日志进行采集
1、⛳ promtail 在数栈如何动态配置标签
通过sidecar的模式我们让log Container与Master Container共享一个日志目录，这样就promtail容器内就可以拿到了日志的文件，但是promtail还不知道要采集哪些日志，以及他的标签是什么。
因为你可能只想采集.log的日志，也可能只想采集.json的日志，或者都有的服务这个配置可能是不同的，所以也不能写死，那如何解决这个问题呢？
promtail 在 v2.10中新增加了一个feature ，就是可以在配置文件中引用环境变量，通过这个特性我们可以将promtail的path参数写成${LOG_PATH}，然后将服务的logpath以环境变量的方式设置进去比如LOG_PATH=/var/log/commonlog/*.log
既然我们可以通过环境变量的方式在服务创建的时候设置path，那么标签我们也可以动态的设置进去。那么我们都需什么维度的标签呢？这个不同的公司肯定有不同的维度，但是必须遵循的一个原则就是可以唯一确定该pod。一般的维度有deployment、podid、node等。这些标签在创建的时候就通过环境变量注入进去，而podid 这些环境变量利用的是k8s 的 downward api 的方式注入的。
注意：这里不可用使用 promtail 的服务发现机制配置标签，因为promtail 的服务发现的原理是请求 APIServer 获取所有pod 的标签。然后利用路径进行匹配，将标签与日志关联。在没有挂载宿主机/var/log/pods目录到promtail 时，即使拿到了标签也无法与日志进行关联。
2、⏰ promtail 在数栈如何部署
为每个服务增加一个Log Container如果手工操作的话实在是太繁琐了，而且不利于维护。最好的方式就将原本的服务抽象为是注册一个CRD，然后编写 k8s operator通过list&watch该类型的对象，在该对象创建的时候，动态的注入一个LogContainer，以及相应的环境变量和为其挂载共同目录。
这样当该CR创建的时候，promtail就作为sidecar注入了其中。并且读到的环境变量就是operator 动态设置的环境变量，灵活度非常高
四、总结
（一）数栈日志收集优势
（二）✈️未来规划
最后给大家分享一下数栈当前日志模块可视化的效果，是不是超级酷炫？
更多技术交流方式
想面对面的进行技术交流吗？想及时参与直播活动吗？可扫码加入钉钉群“袋鼠云开源框架技术交流群”（群号：30537511）
想体验更多的数栈开源项目吗？可以在Github社区搜索“FlinkX”开源项目
FlinkX开源项目地址：
优采云云采集监控预警功能上线！
采集交流 • 优采云 发表了文章 • 0 个评论 • 106 次浏览 • 2022-06-19 06:42
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。
优采云云采集监控预警功能上线！
采集交流 • 优采云 发表了文章 • 0 个评论 • 110 次浏览 • 2022-06-18 18:14
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。
优采云云采集监控预警功能上线！
采集交流 • 优采云 发表了文章 • 0 个评论 • 107 次浏览 • 2022-06-15 21:09
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。
优采云云采集监控预警功能上线！
采集交流 • 优采云 发表了文章 • 0 个评论 • 103 次浏览 • 2022-06-14 09:52
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。
优采云云采集监控预警功能上线！
采集交流 • 优采云 发表了文章 • 0 个评论 • 81 次浏览 • 2022-06-13 19:34
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。
优采云云采集监控预警功能上线！
采集交流 • 优采云 发表了文章 • 0 个评论 • 86 次浏览 • 2022-06-12 14:29
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。
优采云云采集监控预警功能上线！
采集交流 • 优采云 发表了文章 • 0 个评论 • 165 次浏览 • 2022-06-11 08:40
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。
采集系统上云后，业务app只需在前端打开
采集交流 • 优采云 发表了文章 • 0 个评论 • 100 次浏览 • 2022-06-09 12:04
采集系统上云后，业务app只需在前端打开
采集系统上云后，业务app只需在前端打开一个服务器后端数据接口即可。云计算可以支持所有云产品共享，无论客户是做批量还是一对一订单，系统都可以提供服务。单独部署一套erp，自己做成本太高，再者一个产品对多个厂商来说其实并不适合，造成产品不匹配，甚至无法运作。
服务器架构的客户都不多，多数是要做批量的。怎么做一套erp服务呢？现在最火的是云数据库云平台，如aws，亚马逊，阿里云。两个都要支持多语言，ruby，python，java，php等。要部署在云上，还要支持5g带宽。再发展的大一点，可以做newsstand或社交云，slack或instaclip也可以，也是多语言。实际也可以有amazonec2，azure等多云产品。
basecampstuffingrowth还是一样的，
当然不需要，第一平台化客户多，不需要考虑多平台复用。第二大公司在推大客户战略，不大量建设自己的产品，怎么去和小公司竞争？第三资本都去挖大佬，开发人员没钱拿，更没多少钱搞这么多东西。
单独部署不太可能。任何一套服务器平台都是为了快速收集数据，内置一些计算资源以便快速获取数据。如果我是你的话，我把系统拆分成一个个小系统，每个系统自己专注于自己领域的数据收集。然后再通过这些系统再快速获取数据，收集后的数据有了过滤器和分类器， 查看全部
采集系统上云后，业务app只需在前端打开一个服务器后端数据接口即可。云计算可以支持所有云产品共享，无论客户是做批量还是一对一订单，系统都可以提供服务。单独部署一套erp，自己做成本太高，再者一个产品对多个厂商来说其实并不适合，造成产品不匹配，甚至无法运作。
服务器架构的客户都不多，多数是要做批量的。怎么做一套erp服务呢？现在最火的是云数据库云平台，如aws，亚马逊，阿里云。两个都要支持多语言，ruby，python，java，php等。要部署在云上，还要支持5g带宽。再发展的大一点，可以做newsstand或社交云，slack或instaclip也可以，也是多语言。实际也可以有amazonec2，azure等多云产品。
basecampstuffingrowth还是一样的，
当然不需要，第一平台化客户多，不需要考虑多平台复用。第二大公司在推大客户战略，不大量建设自己的产品，怎么去和小公司竞争？第三资本都去挖大佬，开发人员没钱拿，更没多少钱搞这么多东西。
单独部署不太可能。任何一套服务器平台都是为了快速收集数据，内置一些计算资源以便快速获取数据。如果我是你的话，我把系统拆分成一个个小系统，每个系统自己专注于自己领域的数据收集。然后再通过这些系统再快速获取数据，收集后的数据有了过滤器和分类器， 查看全部
采集系统上云后，业务app只需在前端打开
采集系统上云后，业务app只需在前端打开一个服务器后端数据接口即可。云计算可以支持所有云产品共享，无论客户是做批量还是一对一订单，系统都可以提供服务。单独部署一套erp，自己做成本太高，再者一个产品对多个厂商来说其实并不适合，造成产品不匹配，甚至无法运作。
服务器架构的客户都不多，多数是要做批量的。怎么做一套erp服务呢？现在最火的是云数据库云平台，如aws，亚马逊，阿里云。两个都要支持多语言，ruby，python，java，php等。要部署在云上，还要支持5g带宽。再发展的大一点，可以做newsstand或社交云，slack或instaclip也可以，也是多语言。实际也可以有amazonec2，azure等多云产品。
basecampstuffingrowth还是一样的，
当然不需要，第一平台化客户多，不需要考虑多平台复用。第二大公司在推大客户战略，不大量建设自己的产品，怎么去和小公司竞争？第三资本都去挖大佬，开发人员没钱拿，更没多少钱搞这么多东西。
单独部署不太可能。任何一套服务器平台都是为了快速收集数据，内置一些计算资源以便快速获取数据。如果我是你的话，我把系统拆分成一个个小系统，每个系统自己专注于自己领域的数据收集。然后再通过这些系统再快速获取数据，收集后的数据有了过滤器和分类器，
优采云云采集监控预警功能上线！
采集交流 • 优采云 发表了文章 • 0 个评论 • 107 次浏览 • 2022-06-06 18:44
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。
优采云云采集监控预警功能上线！
采集交流 • 优采云 发表了文章 • 0 个评论 • 108 次浏览 • 2022-06-05 07:16
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。
优采云云采集监控预警功能上线！
采集交流 • 优采云 发表了文章 • 0 个评论 • 133 次浏览 • 2022-06-04 18:12
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。
优采云云采集监控预警功能上线！
采集交流 • 优采云 发表了文章 • 0 个评论 • 84 次浏览 • 2022-05-31 21:04
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。
优采云云采集监控预警功能上线！
采集交流 • 优采云 发表了文章 • 0 个评论 • 103 次浏览 • 2022-05-31 09:38
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。
优采云云采集监控预警功能上线！
采集交流 • 优采云 发表了文章 • 0 个评论 • 110 次浏览 • 2022-05-28 18:56
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。 查看全部
优采云云采集监控预警功能上线！
经过多个版本内测，优采云云采集监控预警功能已经正式上线！
优采云【云采集监控预警】聚焦监控近24小时云采集的任务概况、云节点配置情况以及问题预警功能，为用户提供云采集任务实时动态，并提供微信通知预警功能，帮助用户迅速发现云采集过程中出现的各类问题并及时解决。
【云采集监控预警】页面入口
【云采集监控预警】页面展示
1.任务概况
实时监控各类任务和子任务运行情况数据，帮助用户了解任务运行中资源的分配情况，协助进行资源优化。
点击数量可以进入任务列表页并查看任务详情。
2.监控预警
监控近24小时内的任务，及时发现云采集过程中出现的各类问题。
2.1功能共包含9个预警指标，包括【已完成采集数量为0】、【超过10分钟采集数量为0】、【数据重复率 ≥ 20%】等，指标分为高、中、低三个预警等级，用户可以根据自己的实际需求调整预警指标参数及风险等级。
2.2在单个监控预警指标中，可以点击指标右上角点击【...】按钮选择打开【预警开关】。
2.3进入【预警设置】界面自定义设置预警指标，更高预警等级，还可以绑定【微信通知】实时获取云采集监控预警通知，并指定某个任务或任务组进行监控预警。
2.4微信通知界面
3.数据看板
查看实时/每日/近7天/近30天采集速度，跟进对比采集情况，从数据波动情况分析问题所在。
3.1 可查看当前采集速度（分钟级），获取最新采集情况，可以切换选择实时或者24小时；
3.2 可查看今日及昨日任务采集数量对比，同时可筛选任务组，查看任务组内的采集量情况；
3.3 可查看近7天/15天/30天的每日采集数据量，分析对比近期采集量趋势。
目前优采云【云采集监控预警】功能处于试运营阶段，所有旗舰版及以上版本的用户均可以免费体验，如果您在使用过程中有任何意见或建议，欢迎联系我们的客服反馈。
