Logstash - ELK 栈



ELK 代表 **Elasticsearch、Logstash** 和 **Kibana**。在 ELK 栈中,Logstash 从不同的输入源提取日志数据或其他事件。它处理事件,然后将其存储在 Elasticsearch 中。Kibana 是一个 Web 界面,它访问 Elasticsearch 中的日志数据并将其可视化。

ELK

Logstash 和 Elasticsearch

Logstash 提供输入和输出 Elasticsearch 插件,用于读取和写入日志事件到 Elasticsearch。Elasticsearch 作为输出目标也由 Elasticsearch 公司推荐,因为它与 Kibana 兼容。Logstash 通过 http 协议将数据发送到 Elasticsearch。

Elasticsearch 提供批量上传功能,这有助于将来自不同来源或 Logstash 实例的数据上传到集中的 Elasticsearch 引擎。与其他 DevOps 解决方案相比,ELK 具有以下优势:

  • ELK 栈更易于管理,并且可以扩展以处理 PB 级的事件。

  • ELK 栈架构非常灵活,并提供与 Hadoop 的集成。Hadoop 主要用于归档目的。Logstash 可以通过使用 Flume 直接连接到 Hadoop,并且 Elasticsearch 提供名为 **es-hadoop** 的连接器来连接 Hadoop。

  • ELK 的总拥有成本远低于其替代方案。

Logstash 和 Kibana

Kibana 不直接与 Logstash 交互,而是通过数据源,即 ELK 栈中的 Elasticsearch。Logstash 从每个来源收集数据,Elasticsearch 以非常快的速度分析数据,然后 Kibana 提供对该数据的可操作见解。

Kibana 是一个基于 Web 的可视化工具,它可以帮助开发人员和其他人员分析 Logstash 在 Elasticsearch 引擎中收集的大量事件的变化。这种可视化使预测或查看错误或输入源其他重要事件趋势的变化变得容易。

广告