Apache Kafka 和 Flume 的区别


Kafka 和 Flume 都用于实时事件处理系统。它们都由 Apache 开发。Kafka 是一个发布-订阅模型的消息系统。它可以用于通过主题在发布者和订阅者之间进行通信。Kafka 最好的特性之一是,它具有高可用性和弹性,能够抵御节点故障并支持自动恢复。

另一方面,Flume 主要为 Hadoop 设计,它是 Hadoop 生态系统的一部分。它用于从不同来源收集数据并将数据传输到集中式数据存储。Flume 主要设计用于从各种 Web 服务器收集流数据(日志数据)到 HDFS。

序号关键Apache KafkaFlume
1
基础
Apache Kafka 是一个分布式数据存储,针对实时摄取和处理流数据进行了优化
Apache Flume 是一个分布式、可靠且可用的系统,用于有效地从许多不同来源收集、聚合和移动大量日志数据到集中式数据存储。
2
        可扩展性
它易于扩展
它不像 Kafka 那样可扩展
3
推送/拉取
Kafka 基本上作为拉取模型工作
Flume 基本上作为推送模型工作
4
恢复
它具有高可用性和弹性,能够抵御节点故障并支持自动恢复
 如果 flume-agent 发生故障,您将丢失通道中的事件
5.
灵活性
Kafka 是一个通用的发布-订阅模型消息系统
它专门为 Hadoop 设计

更新于: 2020-01-27

690 次浏览

开启您的 职业生涯

通过完成课程获得认证

开始学习
广告

© . All rights reserved.