Hadoop 1 和 Hadoop 2 的区别
众所周知,为了维护大数据并以不同的方式从这些数据中获取相应的报告,我们使用 Hadoop,这是一个基于 Java 编程语言的 Apache 软件基金会开源框架。
现在 Apache 推出了 Hadoop 的下一个版本,名为 Hadoop 2,因此这篇文章重点介绍这两个版本之间的区别。
以下是 Hadoop 1 和 Hadoop 2 之间的主要区别。
序号 | 关键点 | Hadoop 1 | Hadoop 2 |
---|---|---|---|
1 | 新的组件和 API | 由于 Hadoop 1 在 Hadoop 2 之前推出,因此与 Hadoop 2 相比,它拥有一些较少的组件和 API。 | 另一方面,Hadoop 2 在 Hadoop 1 之后推出,因此与 Hadoop 1 相比,它拥有更多组件和 API,例如 YARN API、YARN 框架和增强的资源管理器。 |
2 | 支持 | Hadoop 1 的架构中只支持 MapReduce 处理模型,不支持非 MapReduce 工具。 | 另一方面,Hadoop 2 允许在 MapReduce 模型以及其他分布式计算模型(如 Spark、Hama、Giraph、消息传递接口 (MPI) 和 HBase 协处理器)中工作。 |
3 | 资源管理 | 在 Hadoop 1 中,MapReduce 负责处理和集群资源管理。 | 另一方面,在 Hadoop 2 中,YARN 用于集群资源管理,而处理管理则使用不同的处理模型完成。 |
4 | 可扩展性 | 由于 Hadoop 1 在 Hadoop 2 之前,因此与 Hadoop 2 相比,它的可扩展性较差,在节点扩展方面,它限制为每个集群 4000 个节点。 | 另一方面,Hadoop 2 比 Hadoop 1 具有更好的可扩展性,每个集群最多可扩展到 10000 个节点。 |
5 | 实现 | Hadoop 1 的实现遵循槽的概念,该槽只能用于运行 Map 任务或 Reduce 任务。 | 另一方面,Hadoop 2 遵循容器的概念,该容器可用于运行通用任务。 |
6 | Windows 支持 | 最初,Hadoop 1 不支持 Apache 提供的 Microsoft Windows。 | 另一方面,随着 Hadoop 版本的改进,Apache 在 Hadoop 2 中提供了对 Microsoft Windows 的支持。 |
广告