Hive - 简介

术语“大数据”用于指代包含海量数据、高速数据以及日益增长的各种类型数据的大型数据集集合。使用传统的数据管理系统很难处理大数据。因此，Apache 软件基金会引入了一个名为 Hadoop 的框架来解决大数据管理和处理的挑战。

Hadoop

Hadoop 是一个开源框架，用于在分布式环境中存储和处理大数据。它包含两个模块，一个是 MapReduce，另一个是 Hadoop 分布式文件系统 (HDFS)。

• MapReduce：它是一种并行编程模型，用于在大型商用硬件集群上处理大量结构化、半结构化和非结构化数据。

• HDFS：Hadoop 分布式文件系统是 Hadoop 框架的一部分，用于存储和处理数据集。它提供了一个容错文件系统，可在商用硬件上运行。

Hadoop 生态系统包含不同的子项目（工具），例如 Sqoop、Pig 和 Hive，这些工具用于辅助 Hadoop 模块。

• Sqoop：它用于在 HDFS 和 RDBMS 之间导入和导出数据。

• Pig：它是一个过程语言平台，用于开发 MapReduce 操作的脚本。

• Hive：它是一个平台，用于开发 SQL 类型脚本以执行 MapReduce 操作。

注意：执行 MapReduce 操作有多种方法

• 使用 Java MapReduce 程序处理结构化、半结构化和非结构化数据的传统方法。
• 使用 Pig 处理结构化和半结构化数据的 MapReduce 脚本方法。
• 使用 Hive 处理结构化数据的 MapReduce 的 Hive 查询语言 (HiveQL 或 HQL) 方法。

什么是 Hive

Hive 是一个数据仓库基础设施工具，用于处理 Hadoop 中的结构化数据。它位于 Hadoop 之上，用于汇总大数据，并简化查询和分析。

Hive 最初由 Facebook 开发，后来 Apache 软件基金会将其接手，并在 Apache Hive 的名称下将其进一步开发为开源项目。它被不同的公司使用。例如，亚马逊将其用于 Amazon Elastic MapReduce。

Hive 不是

• 关系数据库
• 在线事务处理 (OLTP) 设计
• 用于实时查询和行级更新的语言

Hive 的特性

• 它将模式存储在数据库中，并将处理后的数据存储到 HDFS 中。
• 它专为 OLAP 设计。
• 它提供了一种名为 HiveQL 或 HQL 的 SQL 类型查询语言。
• 它熟悉、快速、可扩展且可扩展。

Hive 的架构

下图显示了 Hive 的架构图

此架构图包含不同的单元。下表描述了每个单元

Hive 的工作原理

下图显示了 Hive 和 Hadoop 之间的流程。

下表定义了 Hive 如何与 Hadoop 框架交互