今天接收了一个旧的项目，其中用到了elasticsearch相关内容。所以，在本机搭建了一个elk环境，供自己测试使用。虽然现在的容器化技术已经很成熟，并且elastic官方也支持docker上运行elk相关内容。而且采用docker会更好的屏蔽因为环境问题而引起的一些麻烦。但是，还是想动手做一遍，了解一下内部的一些东西。下面就分享一下采坑过程：

首先说明一下我的环境：

vagrant + virtual box虚拟机环境，系统是 CentOS 8.1 ， elk 版本为7.7.0

1. 下载安装包，国内下载安装包速度很慢，即便是踩梯子也是很慢的，所以，在华为云镜像下载相关组件：

华为云镜像地址：https://mirrors.huaweicloud.com 可以搜索相关组件进行下载

elasticsearch : https://mirrors.huaweicloud.com/elasticsearch/7.7.0/

kibana：https://mirrors.huaweicloud.com/kibana/7.7.0/

logstash：https://mirrors.huaweicloud.com/logstash/7.7.0/

2.解压安装包

3.elk中除了 logstash 外，其他两个组件都不允许直接用 root 用户运行，所以，创建一个用户运行elk。

groupadd es
useradd es:es -p password
chown es:es -R elasticsearch-7.7.0 -R

kibana 可以参考上面的命令更改所有者。或者授予相关权限。

3.1 准备运行 elasticsearch，因为es需要对资源的控制有最低要求，所以需要修改系统设置以满足es的运行要求，主要是最大打开文件数，最大文件大小和最大进程数量。可以使用 ulimit -a 查看系统所有相关项配置。

修改 /etc/security/limits.conf 文件

* soft nofile 65536
* hard nofile 131072
* soft nproc 65536
* hard nproc 65536
es hard fsize unlimited
es soft fsize unlimited

这个配置由四个部分组成：<domain>      <type>  <item>        <value>

其中 domain 部分可以是用户名或者用户组，可以使用通配符

type 取值为 hard 和 soft 分别表示硬件和软件限制

item 表示具体的项，例如：nofile 表示打开文件的数量，nproc 表示进程数量，fsize 表示文件大小

value 表示每一项的取值

在启动过程中出现如下错误，是因为上述配置导致的：

(1) max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
(2) max number of threads [1024] for user [es] likely too low, increase to at least [2048]

修改这些只后，还要修改一个文件，在 /etc/sysctl.conf 中添加一行：vm.max_map_count=262144 扩大虚拟内存大小，以满足es的运行。否则出现如下错误：

(2) max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

3.2 上述这些准备工作做好后，需要修改一下 config/elasitcsearch.yml 文件的配置，注意修改如下几项：

cluster.name: 集群名称

node.name: 节点名称

network.host:  es发布地址，需要修改成ipv4或v6地址，默认绑定到 localhost ，外面主机有可能访问不到。

http.port: 9200  es绑定端口，默认即可。

discovery.seed_hosts: ["127.0.0.1"] 这个要配置，这里列出的主机用于执行发现。注释的原文为：Pass an initial list of hosts to perform discovery when this node is started

cluster.initial_master_nodes: ["node-1"] 配置成前面 node.name 的名称，用于初始化具有选主资格的节点。这个配置必须要重视，否则会出现如下错误：

the default discovery settings are unsuitable for production use; 
at least one of [discovery.seed_hosts, discovery.seed_providers, 
cluster.initial_master_nodes] must be configured

上面的意思是说这个三个属性： discovery.seed_hosts, discovery.seed_providers,cluster.initial_master_nodes 至少有一个要配置，以满足 discovery 机制。

上面这些配置完成后，bin 目录执行 ./elasticsearch -d 启动es，浏览器输入： http://192.168.199.71:9200 得到如下结果：

至此，es 启动完成。

4. 安装并运行 kibana

4.1 由于 kibana 是基于 node.js 开发的，它的执行需要chrome环境，一般来讲centos 不预先安装这个环境。如果不安装，会出现如下错误：

Error： Failed to launch chrome！

error while loading shared libraries : libnss3.so: cannot open shared object file: No such file or directory.

如下图所示：

我们观察日志输出，也给出了解决这个问题的方法（trouble shooting）：https://github.com/puppeteer/puppeteer/blob/e6c22dae05d47c6c16c5baaa375eb6f7217ee3ea/docs/troubleshooting.md

 参考原文，意思是需要先安装相关的依赖包，然后更新 nss，一般情况下，我们需要安装 nss。所以，分别执行如下命令：

yum install alsa-lib.x86_64 atk.x86_64 cups-libs.x86_64 GConf2.x86_64 gtk3.x86_64

有些安装包以及安装，系统会自动忽略，并提示已经存在。这个过程中 ipa-gothic-fonts 这个包需要手动安装，可能是源的问题

wget https://pkgs.dyn.su/el8/base/x86_64/ipa-gothic-fonts-003.03-15.el8.noarch.rpm

下载完成后，手动安装即可。继续安装剩余依赖包：

yum install libXcomposite.x86_64 libXcursor.x86_64 libXdamage.x86_64 libXext.x86_64 libXi.x86_64 libXrandr.x86_64 libXScrnSaver.x86_64 libXtst.x86_64yum install pango.x86_64 xorg-x11-fonts-100dpi xorg-x11-fonts-75dpi xorg-x11-fonts-cyrillic xorg-x11-fonts-misc xorg-x11-fonts-Type1 xorg-x11-utils

最后安装 nss（Network Security Services）库。

yum install nss -y

4.2 修改 kibana.yml 相关配置

server.port: 5601

server.host: "192.168.5.71"

server.name: "kibana-test"

elasticsearch.hosts: ["http://192.168.5.71:9200"]  注意，这项一定要配置，即：es 实例的地址

4.3 启动 kibana

同样也是需要非 root 用户启动的，切换到之前建立的 es 用户

bin 目录下执行 ./kibana

浏览器输入：http://192.168.5.71:5601, 添加默认三个数据集 结果如下图：

我们可以添加测试数据，进行查看。至此，kibana 安装完成，剩下的logstash安装及导入工作就简单了。

5.安装logstash并导入测试数据

5.1 elk 组件中，logstash 不要求非root用户启动，但是它依赖 jdk 环境，所以，需要把 es 的jdk环境配置到PATH中，或者其他jdk环境。

5.2 下载 MovieLens 提供的测试数据，导入到 es 中：

网址是：https://grouplens.org/datasets/movielens/  我们可以参考推荐的最小数据集下载，供我们后面的实践。

5.3 创建一个 logstash.conf 文件，将解压后的 csv 文件数据导入到es中，这里提供了一些导入规则，创建了 movies 索引，供大家参考：

input {file {path => "/usr/local/elk/logstash-7.7.0/data/movies.csv"start_position => "beginning"sincedb_path => "/dev/null"}
}
filter {csv {separator => ","columns => ["id","content","genre"]}mutate {split => { "genre" => "|" }remove_field => ["path", "host","@timestamp","message"]}mutate {split => ["content", "("]add_field => { "title" => "%{[content][0]}"}add_field => { "year" => "%{[content][1]}"}}mutate {convert => {"year" => "integer"}strip => ["title"]remove_field => ["path", "host","@timestamp","message","content"]}}
output {elasticsearch {hosts => "http://192.168.199.71:9200"index => "movies"document_id => "%{id}"}stdout {}
}

然后，到 bin 目录执行： ./logstash -f ../config/logstash.conf，看到数据导入日志：

5.4 在kibana 界面的 dev tool 中，我们执行一条查询：GET movies/_doc/189333 即查看上面导入日志中的一个文档，来看返回结果，如下图：

我们对比日志的 title字段和返回结果的title字段值，都是： Mission: Impossible - Fallout 。

好，到此为止，单击版 elk 环境就搭建完成了。并且把主要遇到的问题和解决方法分享一下，希望可以对想学习elk的小伙伴有所帮助。