云端采集器(上海驻云自研发的一套大数据统一分析平台-DataFluxStudio )

　　云端采集器(上海驻云自研发的一套大数据统一分析平台-DataFluxStudio

)

　　DataFlux是上海住云自主研发的一套统一的大数据分析平台，通过对任意来源、任意类型、任意规模的实时数据进行监测、分析和处理，释放数据价值。

　　DataFlux 包括五个功能模块：

　　- 数据包 采集器

　　- Dataway 数据网关

　　- DataFlux Studio 实时数据洞察平台

　　- DataFlux Admin Console 管理后台

　　- DataFlux.f(x) 实时数据处理开发平台

　　为企业提供全场景数据洞察分析能力，具有实时性、灵活性、易扩展性、易部署性。

　　安装 DataKit

　　PS：以Linux系统为例

　　第一步：执行安装命令

　　DataKit 安装命令：

　　DK_FTDATAWAY=[你的 DataWay 网关地址] bash -c "$(curl https://static.dataflux.cn/datakit/install.sh)"

　　在安装命令中添加DataWay网关地址，然后将安装命令复制到主机执行。

　　例如：DataWay网关的IP地址为1.2.3.4，端口为9528（9528为默认端口），则网关地址为：9528/v1 /write/metrics, install 命令为：

　　DK_FTDATAWAY=http://1.2.3.4:9528/v1/write/metrics bash -c "$(curl https://static.dataflux.cn/datakit/install.sh)"

　　安装完成后DataKit会默认自动运行，并会在终端提示DataKit状态管理命令

　　Docker 指标采集

　　采集 docker 指标报告给 DataFlux

　　打开DataKit采集源码配置文件夹（默认路径是DataKit安装目录的conf.d文件夹），找到docker文件夹，打开里面的docker.conf。

　　设置：

　　# Read metrics about docker containers

[[inputs.docker]]

## Docker Endpoint

## To use TCP, set endpoint = "tcp://[ip]:[port]"

## To use environment variables (ie, docker-machine), set endpoint = "ENV"

endpoint = "unix:///var/run/docker.sock"

## Set to true to collect Swarm metrics(desired_replicas, running_replicas)

## Note: configure this in one of the manager nodes in a Swarm cluster.

## configuring in multiple Swarm managers results in duplication of metrics.

gather_services = false

## Only collect metrics for these containers. Values will be appended to

## container_name_include.

## Deprecated (1.4.0), use container_name_include

container_names = []

## Set the source tag for the metrics to the container ID hostname, eg first 12 chars

source_tag = false

## Containers to include and exclude. Collect all if empty. Globs accepted.

container_name_include = []

container_name_exclude = []

## Container states to include and exclude. Globs accepted.

## When empty only containers in the "running" state will be captured.

## example: container_state_include = ["created", "restarting", "running", "removing", "paused", "exited", "dead"]

## example: container_state_exclude = ["created", "restarting", "running", "removing", "paused", "exited", "dead"]

# container_state_include = []

# container_state_exclude = []

## Timeout for docker list, info, and stats commands

timeout = "5s"

## Whether to report for each container per-device blkio (8:0, 8:1...) and

## network (eth0, eth1, ...) stats or not

perdevice = true

## Whether to report for each container total blkio and network stats or not

total = false

## docker labels to include and exclude as tags. Globs accepted.

## Note that an empty array for both will include all labels as tags

docker_label_include = []

docker_label_exclude = []

## Which environment variables should we use as a tag

tag_env = ["JAVA_HOME", "HEAP_SIZE"]

## Optional TLS Config

# tls_ca = "/etc/telegraf/ca.pem"

# tls_cert = "/etc/telegraf/cert.pem"

# tls_key = "/etc/telegraf/key.pem"

## Use TLS but skip chain & host verification

# insecure_skip_verify = false

　　配置好后重启DataKit生效

　　验证数据报告

　　完成数据采集操作后，我们需要验证数据采集是否成功并上报给DataWay，以便日后可以正常分析和展示数据。

　　操作步骤：登录DataFlux-数据管理-指标浏览-验证数据采集是否成功

　　码头工人指标：

　　DataFlux 的数据洞察力

　　根据获得的指标进行数据洞察设计，如：

　　Docker监控视图

　　基于自研DataKit数据（采集器），DataFlux现在可以对接200多种数据协议，包括：云数据采集、应用数据采集、日志数据采集，时序数据上报和常用数据库的数据聚合，帮助企业实现最便捷的IT统一监控。