阿里云InfluxDB®数据采集服务的优势
优采云 发布时间: 2020-08-07 00:24行业解决方案和产品招募!如果您想赚钱就通过它! >>>
背景
随着时间序列数据的快速增长,时间序列数据库不仅需要解决系统的稳定性和性能问题,还需要实现数据采集与分析之间的联系,使时间序列数据能够真正生成. 值. 在时间序列数据采集领域,一直缺乏自动采集工具. 尽管用户可以使用某些开源采集工具来实现数据采集,例如Telegraf,Logstash和TCollector等,但是这些采集工具需要用户构建和维护其操作环境,这增加了用户的学习成本并大大增加了数据收款门槛. 另一方面,现有的采集工具缺乏对多个采集源的自动管理,用户难以统一管理多个不同的采集源,难以监控每个采集工具是否正常运行并实时采集数据.
阿里云InfluxDB®不仅提供稳定可靠的时间序列数据库服务,而且还提供非常方便的数据采集服务. 用户可以轻松查看每个采集源的运行状态并进行管理,采集的数据将自动存储在阿里云InfluxDB®中. 用户无需担心操作维护,实现从数据采集到分析的一站式服务. 本文主要介绍如何使用InfluxDB®的数据采集服务来实现从采集到存储的数据自动管理.
阿里云InfluxDB®数据采集服务的优势我们该怎么办? 1.轻松采集数据
目前,阿里云InfluxDB®支持采集四种不同类型的数据,包括MySQL,Redis,MongoDB和系统监视. 对于每种类型的数据,将采集多个监视指标,以帮助用户更全面地了解受监视对象. 通过InfluxDB®实例的管理控制台,用户可以添加新的集合源,一键安装,而无需编写代码.
采集数据的操作过程如下:
2. 实时监控采集源
在采集源运行期间,您可以实时监视数据采集的状态,并检查采集的数据最后到达InfluxDB®的时间;另外,您可以随时停止数据采集,并在认为适当时重新启动它.
3. 一键切换采集数据的类型
如果要更改受监视机器上的采集数据的类型,则无需添加新的采集源,只需选择所需的采集配置,数据采集工具将自动切换以采集监视数据您指定.
4. 采集的数据自动存储在InfluxDB®中.
您可以在采集配置中选择用于数据流入的数据库和保留策略,数据采集工具将自动将采集的数据存储到指定的数据库和保留策略中,并且可以在采集源为正在运行只需要修改采集配置.
最佳做法
本节将介绍如何采集系统监视数据并实时显示采集的结果. 系统监视的数据包括处理器,磁盘,内存,网络,进程和系统信息. 采集的数据存储在8种不同的度量中(度量包括cpu,磁盘,diskio,mem,net,进程,交换和系统). 在开始之前,请确保已成功创建数据库,并且已经成功创建了具有数据库读写权限的用户帐户.
1. 创建用于采集系统监视数据的配置
在InfluxDB®管理控制台的左侧导航栏中单击“添加采集配置”,以进入采集配置添加界面,如下图所示. 填写“采集配置名称”,选择“采集的数据类型”作为“系统监视”,然后选择“授权帐户”,“数据写入数据库”和“数据库存储策略”,并填写“授权密码” . 单击“添加”以成功创建集合配置.
2. 添加采集源
在InfluxDB®管理控制台的左侧导航栏中单击“添加集合源”,以进入用于添加集合源的页面.
(1)选择网络类型“公共网络”或“专用网络”,然后单击“下一步”,如下图所示.
(2)在数据源所在的主机上安装采集工具. 将安装命令复制到主机以运行采集工具. 采集工具运行后,它将与InfluxDB®建立连接. 您可以在“新采集源扫描结果列表”上看到新添加的采集源. 如果未显示在列表中,则可以单击“刷新”或“自动刷新”. 如下所示.
(3)选择采集系统监视的数据. 在上图中,单击“选择采集配置”以进入以下界面,然后从下拉框中选择刚刚创建的名为“ collect-system”的采集配置. 选择后,单击“保存”.
(4)开始数据采集. 选中需要启动的采集源,然后单击“完成并开始采集”,采集工具可以开始在采集源上采集数据,如下图所示.
3. 查看数据采集状态
在“集合源列表”中,您可以看到连接到InfluxDB®实例的所有集合源,如下图所示. 每个集合源均由uuid唯一标识. “采集状态”为“正在运行”,这意味着采集工具正在采集数据并将其报告给InfluxDB®. “最新的采集和报告成功时间”是指最后一次将采集的数据成功发送到InfluxDB®的时间.
4. 使用Grafana可视化数据采集
(1)安装Grafana. 请参阅有关如何安装Grafana的文档.
(2)添加数据源. 设置“ URL”作为InfluxDB®实例的地址,并填写写入采集的数据的数据库和用户帐户,如下图所示.
(3)配置仪表板并编写查询规则. 这里的演示是查询磁盘使用率,查询语句为:
SELECT MEAN("used_percent") FROM "disk" GROUP BY time(10s)
实时查询结果如下图所示.
您可以根据实际需要查看其他度量和字段的数据,并分别在FROM和SELECT语句中指定它们.
摘要
阿里云InfluxDB®提供方便,快捷的数据采集服务,自动化数据源管理,帮助您解决数据采集问题,并实现数据采集到存储的自动化. 将来,我们将支持采集更多数据类型和指标,敬请期待.
原创链接