如何使用阿里云InfluxDB数据采集服务,实现数据从采集到存储
优采云 发布时间: 2021-06-03 01:16如何使用阿里云InfluxDB数据采集服务,实现数据从采集到存储
背景
随着时间序列数据的快速增长,时间序列数据库不仅需要解决系统的稳定性和性能问题,还需要实现数据从采集到分析的链接,使时间序列数据才能真正产生价值。在时间序列数据采集领域,一直缺乏自动化的采集工具。虽然用户可以使用一些开源的采集工具来实现数据采集,比如Telegraf、Logstash、TCollector等,但是这些采集工具需要用户自己搭建和维护自己的运行环境,增加了用户学习成本大大提高了数据采集的门槛。另一方面,现有的采集 工具缺乏对多个采集 源的自动管理。用户很难统一管理多个不同的采集源,实时监控每个采集工具是否正常运行和采集。数据。
除了提供稳定可靠的时序数据库服务,阿里云InfluxDB®还提供了非常方便的data采集服务。用户可以轻松查看每个采集源的运行状态并进行管理。 采集的数据会自动存储在阿里云InfluxDB®中。用户无需担心运维,实现从采集到分析的一站式服务。本文主要介绍如何使用InfluxDB®的数据采集服务实现数据从采集到存储的自动管理。
阿里云 InfluxDB® Data采集Service 优势我们能做什么? 1.简单采集data
目前阿里云InfluxDB®支持采集MySQL、Redis、MongoDB、系统监控四种不同类型的数据。针对每一类数据,采集多个监控指标可供用户更全面的查看。了解监控对象。用户可以通过InfluxDB®实例的管理控制台添加新的采集sources,一键安装,无需编写代码。
采集data的操作流程如下:
2.实时监控采集源
采集源在运行过程中,可以实时监控采集数据的状态,查看采集数据到达InfluxDB®的时间;并且你可以随时停止数据的采集,在你认为合适的时候重新开启data采集服务。
3.一键切换采集数据类型
如果你想改变被监控机器上的采集数据类型,不需要添加新的采集源,只要选择你想要的采集配置,data采集工具就会自动切换到采集你指定的监控数据。
4. 采集Data 自动存储在 InfluxDB® 中
您可以在采集配置中选择数据流入的数据库和保留策略,data采集工具会自动将采集数据存储在指定的数据库和保留策略中,点击采集即可源操作时修改数据库和数据写入的保留策略,只需要修改采集配置即可。
最佳做法
本节将介绍如何采集系统监控数据并实时显示采集结果。系统监控数据包括处理器、磁盘、内存、网络、进程和系统信息。采集的数据存储在 8 种不同的度量中(度量是 cpu、disk、diskio、mem、net、processes、swap 和 system)。在开始之前,请确保已成功创建数据库,并已成功创建对数据库具有读写权限的用户帐户。
1.创建采集系统监控数据配置
点击InfluxDB®管理控制台左侧导航栏中的“添加采集Configuration”,进入采集configuration添加界面,如下图所示。填写“采集Configuration Name”,“System Monitoring”选择“采集Data Type”,然后选择“Authorized Account”、“Data Write to DB”和“Database Storage Strategy”,填写“Authorized Password” ”。点击“添加”成功创建采集配置。
2.加采集源
点击InfluxDB®管理控制台左侧导航栏中的“添加采集源”,进入采集源添加页面。
(1)选择网络类型,“公网”或“专有网”,然后点击“下一步”,如下图。
(2)在数据源所在的主机上安装采集工具。将安装命令复制到主机上运行采集工具。采集工具运行后会建立一个与InfluxDB®连接,在k15@source扫描结果列表中可以看到新添加的采集source,如果列表中没有显示,可以点击“刷新”或“自动刷新”。如图下面。
(3)Select 采集system 监控数据。在上图中,点击“Select 采集Configuration”进入如下界面,在下拉框中选择新创建的“collect-system” 采集Configuration,选择完成后点击“保存”。
(4)开数据采集.勾选需要启动的采集source,然后点击“完成并启动采集”,采集tools就可以启动采集源采集数据如下图。
3.查看data采集的状态
在“采集source列表”中,可以看到所有连接到InfluxDB®实例的采集sources,如下图所示。每个采集源都由uuid唯一标识,“采集status”为“正在运行”,表示采集tools为采集数据并上报到InfluxDB®,“最新采集上报成功时间”表示 采集 数据上次成功发送到 InfluxDB® 的时间。
4. 使用 Grafana 可视化采集data
(1)Install Grafana。有关如何安装 Grafana 的信息,请查看文档。
(2)添加数据源。设置“URL”为InfluxDB®实例的地址,填写采集data写入的数据库和用户账号,如下图。
(3)Configure Dashboard并编写查询规则。这里以查询磁盘使用情况为例,查询语句为:
SELECT MEAN("used_percent") FROM "disk" GROUP BY time(10s)
实时查询结果如下图所示。
您可以根据实际需要查看其他度量和字段的数据,分别在FROM和SELECT语句中指定。
总结
阿里云InfluxDB®提供方便快捷的data采集服务,自动化数据源管理,帮助您解决data采集的问题,实现数据从采集到存储的自动化。未来我们将支持采集更多的数据类型和指标,敬请期待。