无规则采集器列表算法(无规则采集器列表算法解决各个批量采集的问题问题)

　　无规则采集器列表算法(无规则采集器列表算法解决各个批量采集的问题问题)

　　无规则采集器列表算法【采集器列表算法】功能介绍解决各个批量采集的问题问题概述最近就有人在群里提了这样的问题，根据不同的操作产生的数据，方法不同或者步骤不同，采集到的数据有可能不是同一批。如果遇到这样的问题，如何将同一批数据加工到不同批次，或者切换不同工作流程，或者聚合加工等这种操作形成一个操作流程【转化方法】来实现解决的思路：将聚合优化的细节挖掘出来，不需要切换工作流的形式即可进行加工使用主流数据源：1-用户发起请求，对数据的操作优化为：使用api，此数据源里面提供了详细的操作流程。

　　2-采集api(请求一个数据源)-数据不同批次自动分组-聚合、格式处理3-采集api(请求多个数据源)-数据不同批次自动分组-聚合、格式处理4-采集api(请求多个数据源)-不同数据源之间快速分组-聚合、聚合格式处理5-采集api(请求多个数据源)-不同数据源之间快速分组-聚合、聚合格式处理6-采集api(请求多个数据源)-不同数据源之间快速分组-聚合、聚合格式处理7-采集api(请求多个数据源)-不同数据源之间快速分组-聚合、聚合格式处理8-采集api(请求多个数据源)-不同数据源之间快速分组-聚合、聚合格式处理9-采集api(请求多个数据源)-不同数据源之间快速分组-聚合、聚合格式处理10-采集api(请求多个数据源)-不同数据源之间快速分组-聚合、聚合格式处理11-采集api(请求多个数据源)-不同数据源之间快速分组-聚合、聚合格式处理12-采集api(请求多个数据源)-不同数据源之间快速分组-聚合、聚合格式处理13-采集api(请求多个数据源)-不同数据源之间快速分组-聚合、聚合格式处理14-采集api(请求多个数据源)-不同数据源之间快速分组-聚合、聚合格式处理15-采集api(请求多个数据源)-不同数据源之间快速分组-聚合、聚合格式处理。