Logstash - 插件

---

---

Logstash 为其管道的所有三个阶段（输入、过滤器和输出）提供各种插件。这些插件帮助用户从各种来源捕获日志，例如 Web 服务器、数据库、网络协议等。

捕获后，Logstash 可以根据用户的需要将数据解析和转换成分有意义的信息。最后，Logstash 可以将这些有意义的信息发送或存储到各种目标源，例如 Elasticsearch、AWS Cloudwatch 等。

输入插件

Logstash 中的输入插件帮助用户从各种来源提取和接收日志。使用输入插件的语法如下：

Input {
   Plugin name {
      Setting 1……
      Setting 2……..
   }
}

您可以使用以下命令下载输入插件：

>Logstash-plugin install Logstash-input-<plugin name>

Logstash-plugin 实用程序位于 Logstash 安装目录的**bin 文件夹**中。下表列出了 Logstash 提供的输入插件。

插件设置

所有插件都有其特定的设置，有助于指定插件中重要的字段，例如端口、路径等。我们将讨论一些输入插件的设置。

文件

此输入插件用于直接从输入源中存在的日志或文本文件中提取事件。它的工作原理类似于 UNIX 中的 tail 命令，并保存上次读取的游标，仅读取输入文件中新追加的数据，但可以通过使用 star_position 设置进行更改。以下是此输入插件的设置。

Elasticsearch

此特定插件用于读取 Elasticsearch 集群中的搜索查询结果。以下是此插件中使用的设置：

eventlog

此输入插件读取 Windows 服务器的 win32 API 中的数据。以下是此插件的设置：

Twitter

此输入插件用于从其流式 API 收集 Twitter 的 feed。下表描述了此插件的设置。

TCP

TCP用于通过TCP套接字获取事件；它可以读取来自用户连接或服务器的事件，这在模式设置中指定。下表描述了此插件的设置 -

Logstash – 输出插件

Logstash支持各种输出源和不同的技术，如数据库、文件、电子邮件、标准输出等。

使用输出插件的语法如下所示 -

output {
   Plugin name {
      Setting 1……
      Setting 2……..
   }
}

您可以使用以下命令下载输出插件 -

>logstash-plugin install logstash-output-<plugin name>

**Logstash-plugin实用程序**位于Logstash安装目录的bin文件夹中。下表描述了Logstash提供的输出插件。

所有插件都有其特定的设置，有助于在插件中指定重要的字段，如端口、路径等。我们将讨论一些输出插件的设置。

Elasticsearch

Elasticsearch输出插件使Logstash能够将输出存储在Elasticsearch引擎的特定集群中。这是用户最受欢迎的选择之一，因为它包含在ELK Stack软件包中，因此为Devops提供端到端解决方案。下表描述了此输出插件的设置。

Email

电子邮件输出插件用于在Logstash生成输出时通知用户。下表描述了此插件的设置。

Http

此设置用于通过http将输出事件发送到目标。此插件具有以下设置 -

stdout

stdout输出插件用于将输出事件写入命令行界面的标准输出。在Windows中是命令提示符，在UNIX中是终端。此插件具有以下设置 -

statsd

这是一个网络守护程序，用于通过UDP将矩阵数据发送到目标后端服务。在Windows中是命令提示符，在UNIX中是终端。此插件具有以下设置 -

过滤器插件

Logstash 支持各种过滤器插件来解析和转换输入日志，使其具有更结构化且易于查询的格式。

使用过滤器插件的语法如下所示：

filter {
   Plugin name {
      Setting 1……
      Setting 2……..
   }
}

您可以使用以下命令下载过滤器插件：

>logstash-plugin install logstash-filter-<plugin name>

Logstash-plugin 实用程序位于 Logstash 安装目录的 bin 文件夹中。下表描述了 Logstash 提供的输出插件。

编解码器插件

编解码器插件可以是输入或输出插件的一部分。这些插件用于更改或格式化日志数据的表示形式。Logstash 提供了多个编解码器插件，如下所示：

构建您自己的插件

您还可以创建自己的 Logstash 插件，以满足您的需求。Logstash-plugin 实用程序用于创建自定义插件。在这里，我们将创建一个过滤器插件，它将在事件中添加自定义消息。

生成基本结构

用户可以使用 logstash-plugin 实用程序的 generate 选项生成必要的文件，或者它也可以在 GitHub 上获得。

>logstash-plugin generate --type filter --name myfilter --path c:/tpwork/logstash/lib

这里，**type** 选项用于指定插件是输入、输出还是过滤器。在此示例中，我们正在创建名为 **myfilter** 的过滤器插件。path 选项用于指定您希望创建插件目录的路径。执行上述命令后，您将看到创建了一个目录结构。

开发插件

您可以在插件目录的 **\lib\logstash\filters** 文件夹中找到插件的代码文件。文件扩展名将为 **.rb**。

在我们的例子中，代码文件位于以下路径：

C:\tpwork\logstash\lib\logstash-filter-myfilter\lib\logstash\filters\myfilter.rb

我们将消息更改为：default ⇒ "Hi, You are learning this on tutorialspoint.com" 并保存文件。

安装插件

要安装此插件，需要修改 Logstash 的 Gemfile。您可以在 Logstash 的安装目录中找到此文件。在我们的例子中，它将位于 **C:\tpwork\logstash**。使用任何文本编辑器编辑此文件，并在其中添加以下文本。

gem "logstash-filter-myfilter",:path => "C:/tpwork/logstash/lib/logstash-filter-myfilter"

在上面的命令中，我们指定了插件的名称以及可以在哪里找到它以进行安装。然后，运行 Logstash-plugin 实用程序来安装此插件。

>logstash-plugin install --no-verify

测试

在这里，我们在之前的示例之一中添加了 **myfilter**：

logstash.conf

此 Logstash 配置文件在 grok 过滤器插件之后包含过滤器部分中的 myfilter。

input {
   file {
      path => "C:/tpwork/logstash/bin/log/input1.log"
   } 
}
filter {
   grok {
      match => [
         "message", "%{LOGLEVEL:loglevel} - %{NOTSPACE:taskid} -
            %{NOTSPACE:logger} - %{WORD:label}( - %{INT:duration:int})?" ]
   }
   myfilter{}
}
output {
   file {
      path => "C:/tpwork/logstash/bin/log/output1.log"
      codec => rubydebug
   }
}

运行 logstash

我们可以使用以下命令运行 Logstash。

>logstash –f logsatsh.conf

input.log

以下代码块显示了输入日志数据。

INFO - 48566 - TRANSACTION_START - start

output.log

以下代码块显示了输出日志数据。

{
   "path" => "C:/tpwork/logstash/bin/log/input.log",
   "@timestamp" => 2017-01-07T06:25:25.484Z,
   "loglevel" => "INFO",
   "logger" => "TRANSACTION_END",
   "@version" => "1",
   "host" => "Dell-PC",
   "label" => "end",
   "message" => "Hi, You are learning this on tutorialspoint.com",
   "taskid" => "48566",
   "tags" => []
}

在 Logstash 上发布

开发人员还可以通过将其上传到 github 并遵循 Elasticsearch 公司定义的标准化步骤，将其自定义插件发布到 Logstash。

有关发布的更多信息，请参阅以下网址：

https://elastic.ac.cn/guide/en/logstash/current/contributing-to-logstash.html