整体解决方案:云采集服务

　　整体解决方案:云采集服务

　　

　　云采集服务（新闻抓取）通过云平台提供新闻抓取服务，系统内置了数万条新闻抓取机器人和新闻模板。其中，内置媒体600余家，主流网站7000余家，主流数字报纸600余家，微博6000余条，微信公众号10000余个。云采集服务支持与内容发布系统无缝对接，实现了网站新闻编辑“所见即所得，即抓即发”的业务流程优化。云采集服务（新闻采集）是新闻采集的集合，按需设置，采集监控分类管理，一键多次转载，智能处理，敏感词过滤机制，新闻集导入、关键词检索等功能于一体的智能采集、编辑、分发系统。云采集系统不仅大大提高了编辑效率，还有助于增加网站的访问量。

　　

　　云采集服务（新闻采集）支持互联网新闻采集服务、电子报采集服务、双微采集服务。

　　安全解决方案:1.Telegraf+Influxdb+Grafana自动化运维监控

　　概述：Telegraf采集信息，influxdb时序数据库存储数据，grafana平台展示数据，监控告警，形成自动化运维监控平台。

　　1.涌入数据库

　　​InfluxDB 是由 InfluxData 开发的开源时序数据。它是用 Go 编写的，专注于高性能查询和存储时间序列数据。InfluxDB广泛应用于物联网行业的存储系统监控数据、实时数据等场景。

　　1. 三大特点 2. 数据模型

　　3.influxdb时间线

　　​InfluxDB 中的系列是数据源组合的概念。在同一个数据库中，具有相同保留策略、相同度量、相同标签的数据属于一个系列集合，它标识数据的来源，并且同一系列中的数据在物理上按时间顺序排列在一起命令;

　　​使用命令 show series from tablename; 查看表的系列。

　　4. 系统架构

　　5.influxdb的安装

　　测试机：10.121.xx

　　5.1 下载tar包，解压后使用，配置文件基本不用改

　　tar -xzvf influxdb-1.7.8_linux_amd64.tar.gz

　　得到以下目录结构

　　5.2 创建influxdb用户

　　useradd influxdb -s /sbin/nologin

　　5.3 创建多个目录并授权

　　mkdir /var/lib/influxdb/ /var/log/influxdb/ /var/run/influxdb/

chown influxdb.influxdb /var/lib/influxdb/

chown influxdb.influxdb /var/log/influxdb/

chown influxdb.influxdb /var/run/influxdb/`

　　5.4 将配置文件复制到/etc/influxdb/influxdb.conf，使用默认配置

　　cp -r influxdb/etc/influxdb /etc/

　　默认配置：

[meta]

dir = "/var/lib/influxdb/meta"

[data]

dir = "/var/lib/influxdb/data"

wal-dir = "/var/lib/influxdb/wal"

series-id-set-cache-size = 100

　　5.5 将启动文件复制到/etc/init.d/

　　cp influxdb/usr/lib/influxdb/scripts/init.sh /etc/init.d/influxdb

chmod 755 /etc/init.d/influxdb

　　5.6 将二进制文件复制到 /usr/bin

　　cp influxdb /usr/bin/* /usr/bin/

　　5.7 启动

　　服务 influxdb 启动

　　6.如何使用

　　6.1 数据库的基本操作

　　create database name1;

show databases;

use name1;

show measurements;

drop database name1;

show series from table1;

select * from table1 limit 10;

　　6.2 数据保留政策

　　保留策略 - 数据保留策略用于定义数据应存储多长时间，或将数据保留一段时间。每个数据库可以有多个数据保留策略，但只有一个默认策略。

　　创建保留策略语法：

create retention policy on duration replication [shard duration ] [deafult]

保留策略的名称

为哪个数据库创建的策略

该保留策略对应的数据过期时间

replication 副本因子

shard duration 分片组的默认时长

[deafult] 是否为默认策略

<p>

查看保留策略语法

show retention policies on database_name;

修改保留期

alter retention policy "retention_plocy_name" on database_name duration 15d

删除保留期

drop retention policy "influx_retention_name" on database_name

</p>

　　6.3 表的增删改查

　　查看表

show measurements;

插入操作

insert weather,altitude=1000,area=北 tem=11,humi=-4

insert 表名（不存在则自动创建）,tags1,tags2 fileds1,fileds

删除表

drop measurement table_name;

　　6.4 设置时间显示格式

　　精度 rfc3339（互联网标准时间格式）

　　七、用户操作

　　显示用户

show users;

创建用户

create user influx_user with passwrod 'xxxx';

管理员用户

create user "admin" with password "xxxx" with all privileges;

修改用户密码

set password for influx_user='xxxx';

删除用户

drop user influx_user;

　　8. 用户权利

　　授予所有库的权限

grant all privileges to influx_user;

针对某个库的所有权限

grant all privileges on influxdb to influx_user;

撤销权限

revoke all privileges from influx_user;

开启用户登录认证，需在配置文件的[http]模块中开启

[http]

auth-enabled=true

登录方法

bin/influx (无密码)

bin/influx -username influx_user -password xxxx （有密码）

　　2.电报

　　​telegraf 是一个用 go 编写的代理程序，可以采集系统和服务的统计信息并将其写入 influxdb 数据库。

　　1.电报公制

　　是用于在处理过程中对数据建模的内部表示。这些指标完全基于influxdb的数据模型，主要包括四个组件：

　　测量名称

　　

　　标签

　　字段

　　时间戳（时间）

　　2. 为什么用 telegraf3 构建。电报

　　测试机 10.121.xx

　　3.1 下载并解压安装包

　　tar -xzvf telegraf-1.15.3_linux_amd64.tar.gz

　　目录结构

　　3.2 修改配置文件

　　找到配置文件中的以下模块，添加influxdb的连接配置信息:

[[outputs.influxdb]]

urls = ["http://10.121.7.70:8086"]

database="telegraf" #influxdb创建的数据库

retention_policy="" #如果有的话

username="" #如果有的话

password="" #如果有的话

　　3.3 启动服务

　　bin/telegraf --config 等/telegraf/telegraf.conf

　　它会自动采集信息并自动在influxdb的telegraf数据库中创建表和插入数据

　　3.4 可以参考influxdb使用init.sh做一个服务，配置开机自动启动，方便后续脚本和自动部署。

　　创建用户和创建目录

useradd -s /sbin/nologin telegraf

mkdir /var/log/telegraf/ /var/run/telegraf

chown telegraf.telegraf /var/log/telegraf

chown telegraf.telegraf /var/run/telegraf

拷贝配置文件和可执行文件，启动脚本

cp /root/telegraf/telegraf-1.15.3/usr/bin/telegraf /usr/bin/

cp -r /root/telegraf/telegraf-1.15.3/etc/telegraf /etc/

cp /root/telegraf/telegraf-1.15.3/usr/lib/telegraf/scripts/init.sh /etc/init.d/telegraf

启动

service telegraf start

配置开机自启动

chkconfig telegraf on

启动默认收集的信息

Loaded inputs: kernel mem processes swap system cpu disk diskio

　　3.5 需要采集哪些信息？输入配置请参考以下链接

　　3.格拉法纳

　　​Grafana 是一个跨平台的开源度量分析和可视化工具，可以对采集的数据进行查询和可视化，并及时通知。主要有以下六个特点：

　　1.tar包安装

　　1.1 下载安装包并解压

　　tar -xzvf grafana-7.2.0.linux-amd64.tar.gz

　　1.2 开始

　　./bin/grafana-server web &amp;

　　2.rmp安装

　　​grafana 推荐使用 rpm 安装。因为grafana组件很多，使用rpm安装是标准化的，方便配置和管理，而且不存储数据，不用担心占用太多空间。

　　2.1 下载安装

　　wget https://dl.grafana.com/oss/release/grafana-7.3.6-1.x86_64.rpm

sudo yum install grafana-7.3.6-1.x86_64.rpm

　　2.2 设置开机自启动等启动命令

　　sudo systemctl daemon-reload

sudo systemctl start grafana-server

sudo systemctl status grafana-server

sudo systemctl enable grafana-server

　　2.3 安装信息

　　2.4 Grafana访问

　　默认端口为3000，访问地址：3000

　　默认帐户/密码：admin/admin