数据架构 - 数据湖

---

---

本章解释了什么是**数据湖**，它的用途以及它与传统数据存储系统的区别。我们将介绍基本概念以及组织选择采用数据湖的原因。

什么是数据湖？

**数据湖**是一个存储系统，它以原始格式保存大量原始数据。它可以存储不同类型的数据，例如结构化数据、半结构化数据和非结构化数据。与组织和处理数据的数仓不同，数据湖需要对数据进行清洗、连接，并可能进行聚合才能使其有用，需要处理能力来管理和分析它。

数据湖的关键特性包括：

• 以原始格式存储数据
• 支持所有数据类型
• 使用 Schema-on-read 方法
• 高可扩展性和灵活性
• 允许高级分析和机器学习

为什么使用数据湖？

使用**数据湖**提供了许多优势，尤其是在与传统数据仓库 (DW) 结合使用时。一些好处包括：

• **快速数据存储：**数据可以快速存储而无需任何设置，允许数据分析师和数据科学家等熟练用户更快地访问它。这种快速访问有助于他们更有效地生成报告和训练机器学习模型。
• **节省成本：**与数据仓库相比，数据湖通常提供更便宜的计算选项。
• **高效的调查：**如果用户需要源数据，可以将其快速复制到数据湖中进行快速审查，然后再在数据仓库中创建结构。
• **高性能：**多个计算选项可以同时处理数据，从而提高性能。
• **灵活性：**与数据仓库中 SQL 的限制不同，数据湖允许使用不同的方法进行更复杂的数据修改。
• **无需维护窗口：**数据湖提供对数据仓库的持续 24/7 访问，最大限度地减少用户和繁重数据处理任务之间的冲突。

数据湖的关键组成部分

这些组件协同工作，有助于有效地存储和管理数据。每一层对于数据的输入、安全保存、处理和访问都非常重要，因此用户可以轻松获得见解并做出明智的决策。

• **数据摄取层：**这是数据进入数据湖的方式。数据可以来自不同的来源，例如数据库、应用程序或传感器。它包括用于批量摄取、实时流式传输和更改数据捕获的工具。
• **存储层：**这是存储数据的“湖”。它通常构建在 Hadoop 分布式文件系统 (HDFS) 或云存储（如 Amazon S3）等系统之上。
• **元数据管理层：**此层跟踪有关数据湖中数据的关键详细信息，例如数据的来源、格式以及它与其他数据的关系。它帮助用户更好地查找和理解数据。
• **数据处理层：**此层清洗、转换和分析数据。此处使用 Apache Spark 和 Flink 等常用工具来支持批量处理和实时处理。
• **数据访问层：**此层允许用户和应用程序从数据湖中检索数据。它包括 SQL 查询引擎、数据可视化工具和 API，从而促进高效的数据访问。
• **安全层：**此层保护数据隐私并确保组织遵守法规。它包括访问控制以管理谁可以查看数据，加密以保护敏感信息以及审核功能以监控数据使用情况。
• **数据治理层：**此层侧重于管理数据质量和安全。它包括保持数据准确性、管理元数据和控制谁可以访问数据的工具，从而使所有内容井然有序并遵循规则。
• **数据工作流和监控层：**此层管理数据流并检查系统性能。它确保所有流程顺利运行，并有助于快速查找和修复任何问题。

数据湖架构中的自下而上方法

数据湖中的**自下而上方法**允许用户快速轻松地开始使用数据，而无需进行大量的初始规划。此方法非常适合在不确定要提出什么问题时查看数据。以下是它的工作原理：

• **探索数据：**用户可以从浏览数据开始，而无需事先明确的问题。这种探索有助于他们发现他们可能没有注意到的有价值的见解。
• **预测分析：**一旦确定了模式，数据科学家就可以使用机器学习来分析历史数据并预测未来事件。
• **规范性分析：**更进一步，这种方法会根据这些预测提出行动建议。例如，它可以推荐物流中最佳的交付路线或减少风险的方法。
• **更广泛的应用：**数据湖最初主要用于预测性和规范性分析，但现在它们对许多类型的分析都很有价值。这使得它们对各个领域的组织都非常有用。
• **数据建模：**如果用户在探索过程中发现了有用的数据，他们可以稍后将其组织起来并转移到关系型数据仓库中，以便更容易访问。数据建模有助于阐明数据的关联方式以及应该如何安排数据。

**自下而上方法**允许用户更自由地与数据交互，从而产生新的见解并改进决策。

多个数据湖

为所有数据创建一个大型数据湖似乎是最佳方法，从而更容易查找和组合信息。但是，拥有多个独立的数据湖有很多好处。

多个数据湖的优势

• **组织需求：**不同的团队可能需要自己的数据湖来进行特定项目，这有助于他们更好地管理数据。
• **合规性和安全性：**法规通常要求将敏感数据分开。多个数据湖可以帮助确保机密信息安全并遵循法规。
• **云管理：**拥有多个数据湖可以帮助您保持在云存储限制范围内。每个数据湖都可以有自己的规则，从而更容易遵循公司准则和跟踪成本。
• **性能和可用性：**将数据湖放置在更靠近您的位置可以加快访问速度。如果一个数据湖出现问题，您可以快速切换到另一个数据湖，而不会丢失对数据访问。
• **数据保留管理：**不同的数据湖可以有自己保留数据的规则，确保您满足法律要求，同时高效地使用存储空间。

多个数据湖的缺点

虽然有很多好处，但管理多个数据湖可能会更复杂且成本更高。它可能需要额外的资源和技能。在数据湖之间移动数据也可能很困难，尤其是在它们相距很远的情况下，这可能会减慢对报告所需信息的访问速度。

数据湖架构与传统存储系统有何不同？

**数据湖架构**与传统存储系统在多个方面有所不同。**数据湖**可以保存各种格式的原始数据，而**传统系统**需要先对数据进行结构化。这意味着它们可以存储所有类型的数据，包括结构化数据、半结构化数据和非结构化数据，从而提高了灵活性。**数据湖**也更容易扩展，允许管理大量数据而不会产生高成本。用户可以快速访问和分析数据，而无需进行大量准备工作。总的来说，数据湖为当今的数据需求提供了更大的灵活性和效率。

数据湖设计的最佳实践

有效地设计数据湖对于其成功至关重要。以下是一些需要记住的关键实践。

• **仔细规划：**花时间识别您当前使用以及将来可能使用的所有数据源。了解数据的类型、大小和速度。现在良好的设计可以避免以后昂贵的更改。
• **分层组织：**将您的数据湖划分为几个层，以提高数据质量和可管理性。每一层都有特定的作用，从原始数据到精细的信息。
  • **原始层：**以原始格式保存未处理的数据并存储历史记录。
  • **一致性层：**使所有数据格式保持一致（例如更改为 Parquet）。
  • **清洗层：**通过清洗和组合数据来改进数据，使其成为可用的数据集。
  • **展示层：**应用业务逻辑来准备用于分析的数据，使其易于理解。
  • **沙盒层（可选）：**数据科学家自由实验和分析数据的地方。
• **创建文件夹结构：**为每一层设置清晰的文件夹结构。这种组织使用户易于查找数据，并提高安全性及性能。
• **关注治理：**实施数据治理实践以维护数据质量并确保一切符合规则。这有助于防止“数据沼泽”，其中数据变得杂乱无章且难以管理。
• **使用多功能应用程序：**数据湖可以处理多种类型的分析。它们最初用于预测性和规范性分析，但现在支持不同行业中的各种分析。
• **促进数据建模：**当用户找到有用的数据时，他们可以将其组织起来，然后将其移动到关系型数据仓库中。数据建模有助于显示数据是如何关联和组织的，从而使其更容易访问和使用。

数据湖的实际用例

数据湖以多种方式帮助企业。

• **客户 360：**整合所有客户数据以更好地了解他们的需求。
• **物联网分析：**分析来自联网设备的数据以改进产品和服务。
• 风险分析：利用历史数据识别和管理潜在风险。
• 个性化：定制产品或服务以符合每位客户的偏好。

数据湖的未来趋势

以下是数据管理的一些新方向。

• 数据网格：一种在整个组织中管理数据的去中心化方法。
• 自动化数据质量：利用技术自动检测和修复数据问题。
• 实时分析：从实时数据流中提供即时洞察。
• 多云数据湖：跨不同云服务存储数据，以提高灵活性和可靠性。