开源软件选型：日志收集系统的安装部署和安装方法

　　

开源软件选型：日志收集系统的安装部署和安装方法

　　

　　1.为什么需要采集日志

　　当我们的网站达到一定程度时，我们的服务将分散在不同的主机上。当网站中发生异常时，我们通常使用这些服务的日志来对系统故障进行故障排除。由于大量的主机日志分散在不同的主机中，因此我们的日志分析效率太低。日志采集系统可以将所有不同主机的日志聚合到一个系统中，方便我们查看和分析。

　　2.开源软件选择

　　市场上有各种日志采集系统。通过集成多个软件（包括si部分）来完成日志采集和分析：

　　集合->分析->存储->背景

　　有些采集，

　　有一些需要分析的东西，目前还没有其他研究，所以我还不需要它

　　用于存储，Hdfs（，）等。

　　有些人在后台工作，

　　Hdfs基本上用于日志的大数据分析。它较重，不适合我们。有完整的日志计划。

　　通常说，Elk（+ +）相对较大。它通常用于日志分析和格式化（二次处理）以及日志采集。它也很好，但是需要将其安装在Java环境中并用go编写。是的。该环境的每个依赖项都可以直接运行，并且非常轻巧，大约3M，这对于部署和实现非常有益。

　　不用说搜索是有效的，它通常用于存储时间序列数据，我对此有一定的了解

　　它用于日志查看和分析，并且可以与从es搜索的数据一起使用，以进行可视显示，数据监视面板

　　所以最后选择+ +来实现我们的日志采集系统（可选）

　　当前稳定版本为4. 4，但取决于2个或更多，

　　我以前使用过1. 7，所以我选择了1. 7 + 4. 1

　　3.安装和部署

　　6. x环境

　　3. 1已安装在日志所在的服务器上

　　sudo rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

　　添加以下内容

　　[beats]

name=Elastic Beats Repository

baseurl=https://packages.elastic.co/beats/yum/el/$basearch

enabled=1

gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch

gpgcheck=1

　　另存为/etc/yum..d/beat.repo文件

　　开始安装

　　yum -y install filebeat

chkconfig --add filebeat

　　启动命令

　　/etc/init.d/filebeat start

　　3. 2在日志服务器上安装

　　mkdir -p ~/download && cd ~/download

wget -c https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.2.zip

unzip elasticsearch-1.7.2.zip 

mv elasticsearch-1.7.2 /usr/local/elasticsearch

　　启动命令

　　cd /usr/local/elasticsearch/bin

./elasticsearch -d

　　3. 3在日志服务器上安装

　　rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

cat > /etc/yum.repos.d/kibana.repo  

[kibana-4.1]

name=Kibana repository for 4.1.x packages

baseurl=http://packages.elastic.co/kibana/4.1/centos

gpgcheck=1

gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch

enabled=1

yum install kibana

chkconfig --add kibana

　　启动命令

　　/etc/init.d/kibana start

　　4.使用方法

　　如果我们有一个运行+ php-fpm的Web服务器，则需要采集php-fpm的错误日志和慢速日志

　　4. 1配置

　　filebeat:

  prospectors:

    -

      document_type: "php-fpm"

      paths:

        - /var/log/php/php-fpm.log

    -

      document_type: "php-fpm.slow"

      paths:

        - /var/log/php/slow.log

      multiline:

          pattern: '^[[:space:]]'

          negate: true

          match: after

output:

  elasticsearch:

    hosts: ["192.168.1.88:9200"]

shipper:

  tags: ["web"]

　　以上配置意味着从两个位置采集日志：/var/log//php/php-fpm.log、/var/log//php/.slow.log，

　　因为慢速日志中有多行作为一条记录，所以使用三行将多行转换为一行，,,,上面的配置意味着如果该行不是以空白开头，则将被拼接到前一行。在后面，

　　遵循常规语法

　　在说明中指定将日志输出到的位置，并添加服务所在的ip和端口，可以添加多个单元，还可以支持负余额

　　您可以在中指定一些标签

　　，以便您可以过滤数据

　　好的，只需重新启动，/ etc / init.d /

　　4. 2配置

　　确保已激活

　　4. 3配置

　　用于安装等的仪表板示例。

　　mkdir -p ~/download && cd ~/download

curl -L -O http://download.elastic.co/beats/dashboards/beats-dashboards-1.3.1.zip

unzip beats-dashboards-1.3.1.zip

cd beats-dashboards-1.3.1/

./load.sh

　　默认情况下，该脚本假定在12 7. 0. 0. 1：9200上运行。使用-url选项指定其他位置。例如：./load.sh -url：9200。

　　需要在其中配置的地址和端口

　　，现在这两个服务位于同一台计算机上，默认配置为：9200，因此无需更改

　　4. 4打开

　　启动后的默认端口为5601，可从浏览器打开：5601

　　将加载500万个js，因此请耐心等待

　　打开后的界面是这样的

　　

　　更改为-*

　　

　　单击，然后单击，如果您进入后日志中有数据，我们应该能够看到类似于以下内容的界面

　　

　　地区说明

　　

　　点击类型以查看我们在其中指定的日志名称

　　

　　还有更*敏*感*词*可供您自己发现。

　　4. 5参考资料

　　https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-getting-started.html

https://www.elastic.co/guide/en/kibana/current/getting-started.html

https://www.elastic.co/guide/en/elasticsearch/guide/current/getting-started.html