Hadoop 1 和 Hadoop 2 的区别


众所周知,为了维护大数据并以不同的方式从这些数据中获取相应的报告,我们使用 Hadoop,这是一个基于 Java 编程语言的 Apache 软件基金会开源框架。

现在 Apache 推出了 Hadoop 的下一个版本,名为 Hadoop 2,因此这篇文章重点介绍这两个版本之间的区别。

以下是 Hadoop 1 和 Hadoop 2 之间的主要区别。

序号关键点Hadoop 1Hadoop 2
1新的组件和 API由于 Hadoop 1 在 Hadoop 2 之前推出,因此与 Hadoop 2 相比,它拥有一些较少的组件和 API。另一方面,Hadoop 2 在 Hadoop 1 之后推出,因此与 Hadoop 1 相比,它拥有更多组件和 API,例如 YARN API、YARN 框架和增强的资源管理器。
2支持Hadoop 1 的架构中只支持 MapReduce 处理模型,不支持非 MapReduce 工具。另一方面,Hadoop 2 允许在 MapReduce 模型以及其他分布式计算模型(如 Spark、Hama、Giraph、消息传递接口 (MPI) 和 HBase 协处理器)中工作。
3资源管理在 Hadoop 1 中,MapReduce 负责处理和集群资源管理。另一方面,在 Hadoop 2 中,YARN 用于集群资源管理,而处理管理则使用不同的处理模型完成。
4可扩展性由于 Hadoop 1 在 Hadoop 2 之前,因此与 Hadoop 2 相比,它的可扩展性较差,在节点扩展方面,它限制为每个集群 4000 个节点。另一方面,Hadoop 2 比 Hadoop 1 具有更好的可扩展性,每个集群最多可扩展到 10000 个节点。
5实现Hadoop 1 的实现遵循槽的概念,该槽只能用于运行 Map 任务或 Reduce 任务。另一方面,Hadoop 2 遵循容器的概念,该容器可用于运行通用任务。
6Windows 支持最初,Hadoop 1 不支持 Apache 提供的 Microsoft Windows。另一方面,随着 Hadoop 版本的改进,Apache 在 Hadoop 2 中提供了对 Microsoft Windows 的支持。

更新于:2020年2月25日

8K+ 次浏览

启动您的职业生涯

完成课程获得认证

开始学习
广告