Hadoop和Spark的区别

---

Hadoop框架是一个开源框架，具有扩展计算和存储能力。它可以在许多计算机组成的分布式环境中存储和处理大数据。作为替代方案，Spark是一个开源的集群技术。它旨在加速计算。该产品支持容错且隐式并行的完整程序集群。Spark的主要特点是内存中集群计算，这可以提高应用程序的速度。这些技术有一些相似之处和区别，所以让我们简要讨论一下。

什么是Hadoop？

Hadoop起源于2006年的雅虎项目。该项目的后续版本被发展成为Apache顶级项目。它采用简单的编程模型来协调集群之间的操作。Hadoop中的每个模块都是基于一个基本原理构建的，即硬件故障是常见事件，并且需要由框架处理。

MapReduce算法并行处理数据。Hadoop框架可以充分开发在集群系统上运行的应用程序。

Hadoop的核心包含一个名为Hadoop分布式文件系统（HDFS）的存储部分和一个名为MapReduce编程模型的处理部分。Hadoop将文件分成较大的块，并将其分布在集群中。

Hadoop Yarn是另一个用于调度和协调应用程序运行时的模块。Hadoop是用Java编写的，因此可以通过多种编程语言编写MapReduce代码。它可以通过Apache发行版或MapR、Hortonworks或Cloudera等供应商以开源方式获取。

什么是Spark？

Spark于2012年首次开发，是一个较新的项目。开发者在Hadoop MapReduce模块之上构建了它。MapReduce模型被扩展以使用其他计算方法来支持交互式查询和流处理。Apache推出了Spark，这是一个开源项目，用于在内存中跨集群并行处理数据。

Spark包含它自己的Hadoop集群版本。在存储和处理方面，它使用Hadoop。通过升级特定模块和集成新模块，它具有许多功能。这使得应用程序能够在Hadoop集群中更快地在内存中运行。

这是因为它减少了对磁盘的读写操作。将中间处理数据保存在内存中可以节省读写操作。最终用户可以使用各种方法编写应用程序，因为Spark提供了Python、Scala和Java的内置API。各种库构建在Spark核心之上，包括机器学习、SQL查询、流数据和图算法。

Hadoop和Spark的区别

以下是Spark和Hadoop的主要区别：

Hadoop	Spark
一个使用MapReduce算法的开源框架。	一个闪电般快速的集群计算技术，有效地扩展了MapReduce模型以使用各种计算方法。
MapReduce模型使用读写操作，导致处理速度较慢。	通过减少对磁盘的读写操作，它提供了更快的处理速度。
旨在有效地执行批处理。	旨在有效地处理实时数据。
Hadoop提供高延迟计算。	Spark提供低延迟计算。
包含交互式环境。	没有交互式环境。
数据只能以批处理模式处理。	能够处理实时数据。
Hadoop在成本方面更便宜。	Spark价格昂贵。

结论

Hadoop允许并行处理大量数据。它将大型数据拆分为较小的数据，以便在不同的数据节点上单独处理。然后，它自动收集来自所有多个节点的结果以返回单个结果。如果数据结果大于可用RAM，则Hadoop可能会优于Spark。

说到Spark，它易于使用，因为它包含用户友好的API。客户可以轻松地为数据处理澄清其框架，因为它提供了一种在同一集群中执行流式处理、机器学习和批处理的方法。