一站式数据采集存储的神器:阿里云InfluxDB数据采集服务

优采云 发布时间: 2020-08-11 11:07

  背景

  随着时序数据的急剧下降,时序数据库除了须要解决系统的稳定性和性能问题,还需实现数据从采集到剖析的链路打通,才能使时序数据真正形成价值。在时序数据采集领域,一直缺乏自动化的采集工具。虽然用户可以使用一些开源的采集工具实现数据采集,例如,Telegraf、Logstash和TCollector等,但是,这些采集工具都须要用户自行搭建并维护其运行的环境,增加了用户的学习成本,大大提升了数据采集的门槛。另一方面,现有的采集工具缺少对多个采集源的自动化管理,用户无法统一管理多个不同的采集源,实时监控各个采集工具是否正常运行并采集数据。

  阿里云InfluxDB不仅提供稳定可靠的时序数据库服务,还提供了十分方便的数据采集服务。用户才能便捷查看各个采集源的运行状态并管理它们,采集的数据会手动储存到阿里云InfluxDB。用户无需害怕运维的问题,实现数据从采集到剖析的一站式服务。本文主要介绍怎样使用InfluxDB的数据采集服务,实现数据从采集到储存的自动化管理。

  阿里云InfluxDB数据采集服务优势

  提供丰富的采集指标:支持MySQL、Redis、MongoDB和系统监控等数据的采集

  支持监控多个采集源:用户可以一目了然地监控多个采集源的状态

  采集源方便管理:无需编码,用户即可便捷地添加、删除和更改采集源

  采集数据手动存入InfluxDB,保障采集数据不遗失

  我们能做哪些?

  轻松采集数据

  目前,阿里云InfluxDB支持采集有关MySQL、Redis、MongoDB和系统监控等四种不同类型的数据,针对每种类型的数据,采集多项监控指标,方便用户更全面地了解被监控对象。用户通过InfluxDB实例的管理控制台,即可添加新采集源,一键安装,无需编撰代码。

  采集数据的操作流程如下:

  

  创建采集配置:选择采集数据的类型、数据写入的数据库和保留策略。

  添加采集源:在数据源机器上一键安装InfluxDB数据采集工具,选择采集配置,即可开始采集数据。

  实时监控采集源

  采集源在运行过程中,您可以实时地监控数据采集的状态,查看采集数据近来一次抵达InfluxDB的时间;并且,您还可以随时停止数据的采集,在您觉得合适的时侯再重新开启数据采集服务。

  

  一键切换采集数据类型

  如果您想要改变被监控机器上的采集数据类型,无需重新添加新的采集源,只需选择您想要的采集配置即可,数据采集工具会手动切换成采集您指定的监控数据。

  采集数据手动存入InfluxDB

  您可以在采集配置中选择数据流入的数据库和保留策略,数据采集工具会手动将采集数据存入指定的数据库和保留策略,并且,您可以在采集源运行的过程中更改数据写入的数据库和保留策略,只需更改采集配置即可。

  最佳实践

  本小节将介绍怎么采集系统监控的数据,并实时展示采集结果。系统监控的数据收录处理器、磁盘、内存、网络、进程和系统等信息,采集的数据分别储存在8个不同的measurement中(measurement分别为cpu、disk、diskio、mem、net、processes、swap和system)。在开始前,请先确保早已成功创建数据库和对该数据库有读写权限的用户帐号。

  创建采集系统监控数据的配置

  点击InfluxDB管理控制台两侧导航栏的“添加采集配置”,进入到采集配置添加界面,如下图所示。填写“采集配置名称”,选择“采集数据类型”为“系统监控”,然后选择“授权帐号”、“数据写入DB”和“数据库储存策略”,并填写“授权密码”。点击“添加”即可成功创建采集配置。

  

  添加采集源

  点击InfluxDB管理控制台两侧导航栏的“添加采集源”,进入到采集源添加页面。

  (1)选择网路类型,“公网”或者“专有网路”,然后点击“下一步”,如下图所示。

  

  (2)在数据源所在主机安装采集工具。将安装命令复制到主机上即可运行采集工具。采集工具运行后会与InfluxDB构建联接,在“新采集源扫描结果列表”上可以看见新添加的采集源,如果在该列表上没有显示,可以点击“刷新”或“自动刷新”。如下图所示。

  

  (3)选择采集系统监控的数据。在上图中,点击“选择采集配置”,进入如下界面,从下拉框中选择刚才创建的名为“collect-system”的采集配置。选择完成后,点击“保存”。

  

  (4)启动数据采集。勾选须要启动的采集源,然后点击“完成并启动采集”,采集工具即可在采集源上开始采集数据,如下图所示。

  

  查看数据采集的状态

  在“采集源列表”中,您可以看见所有与InfluxDB实例构建联接的采集源,如下图所示。每个采集源由uuid惟一标示,“采集状态”为“running”表示采集工具正在采集数据并上报到InfluxDB,“最新采集上报成功时间”表示采集数据近来一次成功发送到InfluxDB的时间。

  

  使用Grafana可视化采集数据

  (1)安装Grafana。有关怎么安装Grafana可查看文档。

  (2)添加数据源。设置“URL”为InfluxDB实例的地址,并且填写采集数据所写入的数据库和用户帐号,如下图所示。

  

  (3)配置Dashboard,编写查询规则。这里示范的是查询c盘使用率,查询句子为:

  SELECT MEAN("used_percent") FROM "disk" GROUP BY time(10s)

  实时查询结果如下图所示。

  

  您可以按照实际须要,查看其它measurement和field的数据,分别在FROM和SELECT句子中指定即可。

  总结

  阿里云InfluxDB提供便捷快捷的数据采集服务,自动化管理数据源,帮您解决数据采集的问题,实现数据从采集到储存的自动化。未来,我们会支持更多数据类型和指标的采集,敬请期盼。

  阿里云InfluxDB数据采集使用指南:

  阿里云InfluxDB文档:

  阿里云InfluxDB内测订购链接:

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线