总结:一套完整的数据分析采集系统的功能点和功能

　　总结:一套完整的数据分析采集系统的功能点和功能

　　采集采集系统不仅是对接接口，还要对接数据库或者是数据分析系统，数据的录入，删除，查询，分析等等都要采集系统发起。采集系统的性能要求很高，网络连接稳定，人员培训，性能调整和故障处理，异常告警处理，采集数据上传，采集模块的性能，如何节省运维成本和时间，监控系统等等都是采集系统需要面对的问题。

　　采集是数据分析的基础，一套完整的采集采集系统应当在性能、稳定、可靠、成本、易用等方面综合考虑。以目前市场上比较成熟的snmp框架作为采集系统的核心，经过优化提升，在设计、实现、性能、成本等方面应该是可以满足用户需求的，下面介绍一下数据分析采集系统功能点：1.系统架构系统架构需要安全性良好、消息可靠、不会被*敏*感*词*、不需要重启，同时也要对采集方案进行采集封装和管理，以便采集过程的监控。

　　2.分布式采集系统采集是通过分布式集群中的多台硬件进行，一个集群以p2p模式提供多个采集节点，除了分布式服务器的监控，以硬件采集池来保证snmp数据的高可靠性。3.优化分布式采集p2p软件系统和采集节点的性能要求，要用io性能高，能支持高并发，读取性能也要保证，用流量控制等指标保证网络能够快速响应。4.采集封装和采集池p2p软件的采集封装系统需要提供数据到封装区的转换过程（封装对象或二进制流）。

　　5.p2p服务器p2p服务器负责数据采集，监控和告警。并且要对采集节点进行负载均衡，负载能力大小要结合采集网络带宽选择合适的服务器规格。同时要满足对wifi，移动网络，光纤等不同网络接入方式的支持。6.数据转换和重放通过分布式系统硬件，同时通过调用分布式服务器提供的oamp协议。实现数据按照一定的格式、格式去重、按一定算法去除、按一定调制格式去调制等转换和重放。

　　7.推送系统要满足保证snmp协议在发送到其他节点的时候能够接收到协议，同时保证协议可以被接收到。8.边缘计算系统要在物理边缘节点对数据进行分析，可以是本地wi-fi、光纤等接入设备，可以是运营商的网络也可以是无线运营商通过ftth等局域网进行采集。9.数据泄露防控在隐私保护方面要防止数据不明，并且要尽量解决数据泄露。

　　10.存储安全除了数据有被篡改的风险，同时在数据传输时需要进行加密处理。11.实时数据分析监控系统可以在采集到的数据进行实时分析，查看每个月的信息，可以对总量做出预估。12.云服务对接服务器端不宜过大，数据可以交给云服务器端进行发送和接收。13.功能扩展性根据业务进行扩展，包括后台管理服务器，客户端数据库扩展，用户。