一、ELK日志分析系统简介

日志服务器：提高安全性，集中存放日志，缺陷是对日志的分析困难
处理日志的步骤：
1，将日志进行集中化管理
2，将日志格式化并输出到elasticsearch
3，对格式化后数据进行索引和存储
4，前端数据的展示

其中：
Elasticsearch —存储和索引。群集，建立大量索引，方便查找日志数据
Logstash —收集日志，传递给ES
Kibana —以视图的形式展现日志内容

二、Elasticsearch介绍

是一个基于Lucene的搜索服务器，提供一个分布式多用户能力的全文搜索引擎，基于RESTful web接口，Elasticsearch是用java开发的，并作为apache许可条款下开放的源码发布，是第二流行的企业搜索引擎。

• 核心概念：
  1、接近实时：从索引文档直到这个文档能够被搜索到有一个轻微的延迟（通常是1秒）
  2、集群：由多个节点组织在一起，他们共同持有你整个的数据，并一起提供索引和搜索功能，其中一个节点为主节点，可以通过选举产生，并提供跨节点的联合索引和搜索功能。
  3、节点：是单台服务器，是集群的一部分，存储数据并参与集群的所有和搜索功能。
  4、索引：索引（库）—》 类型（表）—》文档（记录）
  5、分片和副本

三、Logstash介绍

一款强大的数据处理工具，可实现数据传输，格式处理，格式化输出，数据输入，数据加工以及数据输出

• 主要主件：Shipper、Indexer、Briker、Search and Storage、web interface

四、Kibana介绍

一个针对elasticsearch的开源分析及可视化平台，搜索，查看存储在elasticsearch索引中的数据，通过各种图表进行高级数据分析及展示

• 主要功能：elasticsearch无缝之集成，整合数据，复杂数据分析，接口灵活，可视化。

五、ELK部署

• 实验拓扑：
  
• 需求描述：
  配置ELK日志分析集群
  使用logstash收集日志
  使用kibana查看日志分析
• 实验环境
  服务器1 centos7 node1 192.168.130.10 elasticsearch，Kibana
  服务器2 centos7 node2 192.168.130.20 elasticsearch
  服务器3 centos7 apache 192.168.130.30 Logstash，apache
• 实验步骤：
  两台node节点配置相同，全部关闭防火墙

[root@node1 opt]# rpm -ivh elasticsearch-5.5.0.rpm
[root@node1 opt]# vim /etc/hosts
192.168.130.10 node1
192.168.130.20 node2[root@node1 opt]# systemctl daemon-reload
[root@node1 opt]# systemctl enable elasticsearch更改主配置文件
[root@node1 opt]# cp -p /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
[root@node1 opt]# vim /etc/elasticsearch/elasticsearch.yml
17  cluster.name: my-elk-cluster
23  node.name: node1
33  path.data: /data/elk_data
37  path.logs: /var/log/elasticsearch/
43  bootstrap.memory_lock: false
55  network.host: 0.0.0.0
59  http.port: 9200
68  discovery.zen.ping.unicast.hosts: ["node1", "node2"]
[root@node1 opt]# mkdir /data/elk_data
[root@node1 opt]# chown elasticsearch.elasticsearch /data/elk_data
[root@node1 opt]# systemctl start elasticsearch

真机访问：
http://192.168.130.10:9200/_cluster/health?pretty ##检查群集健康状态

http://192.168.130.20:9200/_cluster/state?pretty ##检查状态信息
安装elasticsearch-head插件，管理群集

[root@node1 opt]# yum -y install gcc gcc-c++ make
[root@node1 opt]# tar zvxf node-v8.2.1.gz
[root@node1 opt]# cd node-v8.2.1/
[root@node1 node-v8.2.1]# ./configure
[root@node1 node-v8.2.1]# make -j3
[root@node1 node-v8.2.1]# make install
安装phantomjs前端框架
[root@node1 opt]# tar jvxf phantomjs   -C /usr/local/src
[root@node1 opt]# cd /usr/local/src/ph..../bin
[root@node1 bin]# cp phantomjs /usr/local/bin
安装elasticsearch-head数据可视化工具
[root@node1 opt]# tar zvxf elasticsearch-head  .gz -C /usr/local/src
[root@node1 opt]# cd /usr/local/src/elasticsearch-head
[root@node1 elasticsearch-head]# npm install
[root@node1 elasticsearch-head]# vim /etc/elasticsearch/elasticsearch.yml(末尾插入)
http.cors.enabled:true     ##开启跨域访问支持，默认为false
http.cors.allow-origin:"*"   ##跨域访问允许的域名地址
[root@node1 elasticsearch-head]# systemctl restart elasticsearch
[root@node1 elasticsearch-head]# npm run start &
[1] 10786
[root@node2 elasticsearch-head]#
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt serverRunning "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100

访问192.168.130.10:9100

写入数据

[root@node1 ~]# curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello"}'

apache服务器配置
安装apache服务和Logstash软件

[root@apache opt]# yum -y install httpd
[root@apache opt]# systemctl start httpd
[root@apache opt]# java -version   检查java环境
安装logstash(上传logstash到opt目录下)
[root@apache opt]# rpm -ivh logstash...
[root@apache opt]# systemctl start logstash
[root@apache opt]# systemctl enable logstash
[root@apache opt]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin

logstash（apache）与elasticsearch（node）功能是否正常，做对接测试
logstash命令测试：
-f 指定logstash的配置文件，根据配置文件配置logstash
-e 该字符可以被当做logstash的配置（如果是“ ”，则默认使用stdin做输入，stdout作为输出）
-t 测试配置文件是否正确，然后退出
输入采用标准输入，输出采用标准输出----登录apache服务器
logstash -e ‘input { stdin{} } output { stdout } }’
www.baidu.com ##可以输入内容
使用rubydebug显示详细输出，codec为一种编解码器
logstash -e ‘input { stdin{} output { stdout{ codec=>rubydebug } }’
www.aliyun.com ##可以输入内容

使用logstash将信息写入elasticsearch中

logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.130.10:9200"] } }'
www.baidu.com    ##可以输入内容
www.google.com.cn   ##输入内容

登录真机192.168.130.10:9200 ##查看索引信息

在apache服务器上做对接配置
logstash配置文件主要由三部分组成：input 、output、filter

[root@apache /]# chmod o+r /var/log/messages
[root@apache /]# ll /var/log/messages
[root@apache /]# vim /etc/logstash/conf.d/system.conf
input {file{path => "/var/log/messages"type => "system"start_position => "beginning"}}
output {elasticsearch {hosts => ["192.168.130.10:9200"]index => "system-%{+YYY.MM.dd}"}}
[root@apache /]# systemctl restart logstash

登录真机192.168.130.10:9100 查看索引
多出一个system-2020.0914 日志文件

登录node1节点
在node1上安装Kibana

[root@node1 opt]# rpm -ivh kibana...
[root@node1 opt]# cd /etc/kibana
[root@node1 kibana]# cp -p kibana.yml kibana.yl.bak
[root@node1 kibana]# vi kibana.yml   ##开启修改以下字段
server.port: 5601    ##kibana打开的端口
server.host: "0.0.0.0"    ##kibana侦听的地址
elasticsearch.url: "http://192.168.130.10:9200"    ##和elasticsearch建立联系
kibana.index: ".kiban"    ##在elasticsearch中添加.kibana索引
[root@node1 kibana]# systemctl enable kibana
[root@node1 kibana]# systemctl start kibana

登录真机192.168.130.10:5601 创建一个索引名为system-* ##这是对接系统日志文件


对接apache服务器的日志文件（有两个：access和error）

cd /etc/logstash/conf.d
touch apache_log.conf
vim apache_log.conf
input {file{path => "/etc/httpd/logs/access_log"type => "access"start_position => "beginning"}file{path => "/etc/httpd/logs/error_log"type => "error"start_position => "beginning"}}
output {if [type] == "access" {elasticsearch {hosts => ["192.168.130.10:9200"]index => "apache_access-%{+YYY.MM.dd}"}}if [type] == "error" {elasticsearch {hosts => ["192.168.130.10:9200"]index => "apache_error-%{+YYY.MM.dd}"}}}
/usr/share/logstash/bin/logstash -f apache_log.conf

登录真机192.168.130.10:9100 ##查看索引信息
会发现两个文件:apache_error-2020.09.14 apache_access-2020.09.14

在打开192.168.130.30:5601
创建两个索引，即可通过kiban查看日志文件信息