Hadoop - 大数据解决方案

传统方法

在这种方法中，企业将拥有一台计算机来存储和处理大数据。对于存储目的，程序员将寻求 Oracle、IBM 等他们选择的数据库供应商的帮助。在此方法中，用户与应用程序交互，而应用程序又负责处理数据存储和分析这一部分。

局限性

此方法适用于那些处理可由标准数据库服务器容纳的体积较小数据或可承受正在处理数据的处理器的限制的应用程序。但当涉及处理大量可扩展数据时，通过单一数据库瓶颈处理此类数据是一项繁重的任务。

Google 的解决方案

Google 使用称为 MapReduce 的算法解决了此问题。此算法将任务划分为小部分并将其分配给多台计算机，然后从这些计算机收集结果，这些结果集成在一起形成结果数据集。

Hadoop

使用 Google 提供的解决方案，Doug Cutting 及其团队开发了一个名为 HADOOP 的开源项目。

Hadoop 使用 MapReduce 算法运行应用程序，其中数据与其他数据并行处理。简而言之，Hadoop 用于开发可对大量数据执行完整统计分析的应用程序。