课前三分钟

本节课我们讲解Logstash的工作原理，在深入学习Logstash之前，我们先了解它是怎么工作的，本节课对于初次接触Logstash的同学非常重要，可以让您快速理解Logstash，少走一些弯路。有些人学习过程中总是忽略基础，总想一口吃个胖子，结果往往是举步维艰。

Logstash事件处理管道可以分为有三个阶段：输入→过滤器→输出。输入生成事件，过滤器修改事件，输出将它们发送到其他不同的地方。同时输入和输出都支持编解码器，使您能够在数据写入或输出管道时对数据进行编码或解码，而无需使用单独的过滤器。

基本概念

input

输入就是Logstash的数据输入源，Logstash支持很多种数据输入，常用的有file、kafka、beats等等。

关于输入插件详细内容，我们在后续课程详细介绍。

filter

过滤就是针对输入的数据进行一些操作，强大的过滤功能也是Logstash的一大特色，Logstash同样支持很多种过滤插件，常用的有grok、mutate、date等等。

关于过滤插件详细内容，我们在后续课程详细介绍。

output

输出就是Logstash整个事件管道的最后阶段，指向需要输出的地方。我们可以同时指定多个输入和输出。常用的输出插件包括：elasticsearch、file、kafka等等。

关于输出插件详细内容，我们在后续课程详细介绍。

Codecs

编解码器，在input和output中支持。可以理解成是对输入输出的编解码。我们常用的有plain（文本）、json、multiline（合并多行）等等。

关于编解码器插件，我们在后续课程详细介绍。

执行机制

Logstash管道中的每个输入阶段都在其自己的线程中运行。将事件写入内存（默认）或磁盘上的中央队列。每个管道工作线程从该队列中获取一批事件，通过配置的过滤器运行一批事件，然后通过任何输出运行过滤的事件。

默认情况下，Logstash在管道阶段（输入→过滤器和过滤器→输出）之间使用内存中有界队列来缓冲事件。如果Logstash不安全地终止，则存储在内存中的任何事件都将丢失。为了帮助防止数据丢失，您可以启用Logstash将正在进行的事件保存到磁盘。

目录结构

上节课介绍了手动和APT两种安装方式，不同的安装方式有不同的目录结构。

APT安装方式目录结构

目录	说明	默认路径	修改
home	Logstash安装目录	/usr/share/logstash
bin	Logstash启动和安装插件脚本目录	/usr/share/logstash/bin
settings	Logstash的settings配置文件目录	/etc/logstash	path.settings
conf	Logstash的pipeline配置文件目录，即我们自定义的配置文件存放目录	/etc/logstash/conf.d/*.conf	在/etc/logstash/pipelines.yml进行配置
logs	Logstash日志目录	/var/log/logstash	path.logs
plugins	Logstash自定义插件目录	/usr/share/logstash/plugins	path.plugins
data	Logstash持久化数据目录	/var/lib/logstash	path.data

手动安装方式目录结构

目录	说明	默认路径	修改
home	Logstash安装目录	您的安装包解压路径{home.path}
bin	Logstash启动和安装插件脚本目录	{home.path}/bin
settings	Logstash的settings配置文件目录	{home.path}/config	path.settings
logs	Logstash日志目录	{home.path}/logs	path.logs
plugins	Logstash自定义插件目录	{home.path}/plugins	path.plugins
data	Logstash持久化数据目录	{home.path}/data	path.data

手动安装方式的pipeline配置文件目录需要自己创建，并且启动需要-f 指定文件路径。

启动方式与启动脚本

我们在上一节课Logstash 安装中已经介绍了Logstash的启动，本节课在这里我们详细介绍一下，Logstash的启动脚本以及如何稳定运行。

service方式

Logstash稳定运行方式建议以标准service方式运行，使用systemd启动Logstash程序。

sudo systemctl start logstash.service

sudo systemctl stop logstash.service

sudo systemctl restart logstash.service

命令行方式

我们也可以通过命令行来启动Logstash，这种多用于开发阶段，方便开发调试使用。

bin/logstash [options]

安装目录bin下面的Logstash文件是Logstash的启动脚本文件，[options]代表命令行配置，我们可以指定 logstash.yml 配置文件中大部分配置。在命令行中指定的配置会覆盖文件中的配置，但只是在启动时生效，并不会修改配置文件。这在调试的过程中非常有用，但在生产环境，建议将配置都配置在 logstash.yml 中。

启动脚本主要包含以下参数：

• --node.name
• --path.settings
• --path.data
• -p 或 --path.plugins
• -f 或 --path.config
• -l 或 --path.logs
• --pipeline.id
• --pipeline.unsafe_shutdown
• -w 或 --pipeline.workers
• -b 或 --pipeline.batch.size
• -u 或 --pipeline.batch.delay
• --modules
• -M 或 --modules.variable
• --config.debug
• --config.reload.interval
• -e 或 --config.string
• -t 或 --config.test_and_exit
• -r 或 --config.reload.automatic
• -i 或 --interactive
• -V 或 --version
• --http.host
• --http.port
• --log.level
• --log.format
• -h 或 --help

关于每个配置的详细信息，我们放在下一课详细介绍。

小结

本节课我们介绍了Logstash的一些基本概念和目录结构，内容虽然不多，但是为了照顾一些初学者，还是啰嗦了一下，后续课程我们逐步的深入学习Logstash的配置。