事实:如何获取服务节点?秒采的弊端是数据量不可控

优采云 发布时间: 2022-10-01 12:07

  事实:如何获取服务节点?秒采的弊端是数据量不可控

  内容采集和秒采也都是效率工具,都是在实现某个目标服务节点,也可以理解为采集的过程中会分享给节点。那么,如何获取服务节点呢?我们需要针对不同的服务节点,用不同的采集策略来达到目标。要达到该目标服务节点,要通过服务后台来达到。其实原理很简单,就是先把这个采集器采集到的结果存储在缓存区,以实现“一站式”的数据采集和处理。

  

  然后通过“分布式采集器“来将结果进行分享给服务节点。采集器除了能在服务节点上进行采集外,还可以将结果发送到下游的服务节点,下游的服务节点再用“服务后台”的”分布式采集器“来进行返回。所以,”秒采“本质上,就是下游节点用“服务后台”的分布式采集器,完成你的目标。需要注意的是,如果“秒采”的数据量大的话,也会出现延迟的问题。

  

  采集器的弊端是不可预知,可以采多次。秒采的弊端是数据量不可控,具体使用方法是“采集结果通过“一致性哈希”来存储。“秒采”的数据如果超过10m,你可以将采集结果缓存到mysql上,然后通过“分布式采集器”将采集结果分发到下游节点。以上,结合采集质量和时延更好。

  你的分布式采集器已经在服务器上面了吧,最简单的方式,就是“秒采”将采集结果分发到下游节点,在下游节点有缓存的情况下,可以增加低端节点的响应,简单的方法可以通过多个负载均衡(比如ror)进行,

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线