数据架构 - 现代数据仓库

在数据架构中，现代数据仓库 (MDW) 是一个中心存储库，组织可以在其中存储和分析所有数据。它结合了关系型数据仓库 (RDW) 的组织结构和数据湖的灵活性。这意味着企业可以访问实时数据，发现趋势，并改进与客户的连接方式。

通过最大限度地利用其数据，现代数据仓库帮助组织保持创新和竞争力。本章将探讨 MDW 的架构、工作原理以及实施步骤。

现代数据仓库架构

现代数据仓库 (MDW) 的架构结合了关系型数据仓库 (RDW) 和数据湖的功能。这种设计允许灵活的数据处理和强大的分析能力。

现代数据仓库 (MDW) 的结构结合了关系型数据仓库 (RDW) 的有序布局和数据湖的灵活性。这种设置使组织更容易有效地存储和分析其数据。

MDW 的结构

现代数据仓库 (MDW) 的结构旨在处理不同类型的数据和分析流程。它包括：

• 关系型数据仓库 (RDW)：这采用自上而下的方法，这意味着在加载任何数据之前需要仔细规划（称为预先定义模式）。它非常适合分析历史数据。
• 数据湖：这采用自下而上的方法，允许快速访问数据，而初始设置最少（称为读取时定义模式）。它尤其适用于机器学习和识别未来趋势。

MDW 中的数据流阶段

现代数据仓库 (MDW) 中的数据流阶段解释了如何收集、存储、处理和分析数据。此过程将原始数据转化为对企业有用的见解。其工作原理如下：

• 数据摄取：MDW 可以从不同的来源收集不同类型的数据，包括结构化数据（如数据库）和非结构化数据（如电子邮件或社交媒体帖子）。
• 数据存储：然后，收集到的数据存储在数据湖中，数据湖为保存大量数据提供了灵活且经济高效的选项。
• 数据转换：之后，利用计算能力来清理和组织数据，使其更易于使用，并提高分析效率。
• 数据建模：数据准备就绪后，将其从数据湖移动到关系型数据仓库 (RDW)，通常以星型模式排列以简化报表生成。
• 数据可视化：最后，用户可以使用熟悉的报表工具分析组织后的数据，从而轻松理解和利用这些见解。

MDW 的实施注意事项

在设置现代数据仓库 (MDW) 时，组织应考虑以下几个重要方面。

• 数据提取频率：他们需要决定多频繁地提取数据，并确保有足够的容量来确保流程顺利进行。
• 使用机器学习：机器学习可用于不同的步骤，以帮助从数据中发现有用的见解。
• 直接数据流：并非所有数据都需要经过每个步骤；某些数据可以直接从源移动到关系型数据仓库 (RDW)。

现代数据仓库 (MDW) 越来越受欢迎，因为它们提供了一种灵活的数据管理方式。它们帮助组织将关系型数据仓库 (RDW) 和数据湖的最佳功能结合在一起，从而更轻松地处理和组合数据。

现代数据仓库的优势

现代数据仓库 (MDW) 提供了许多优势，可帮助组织管理和分析其数据。以下是它们如何真正使企业受益。

• 实时数据访问：MDW 允许企业实时访问数据，帮助他们快速做出决策并迅速应对市场变化。
• 灵活性：它们可以处理结构化和非结构化数据，允许组织适应不同的数据需求。
• 可扩展性：MDW 可以随着业务增长而增长，轻松处理大量数据，这非常适合扩展型公司和大数据应用。
• 改进的分析：通过组合来自不同来源的数据，MDW 提供了全面的视图，从而产生更深入的见解和更好的分析结果。
• 成本效益：通过云存储选项，与传统方法相比，MDW 通常提供更经济高效的数据存储和处理方式。

现代数据仓库的缺点

虽然现代数据仓库具有许多优点，但也有一些缺点需要注意。了解这些限制对于成功实施至关重要。

• 复杂性：MDW 中不同数据类型的组合可能使其设计和管理变得复杂，需要特殊的技能和资源。
• 初始设置成本：启动 MDW 可能需要投入大量的技术和基础设施资金。
• 潜在的数据重复：需要在数据湖和常规数据仓库中复制数据可能会增加存储成本并产生管理问题。
• 性能问题：根据系统的设置方式和处理的数据量，系统可能会变慢，尤其是在处理大量数据时。
• 数据治理挑战：确保数据质量、安全性和遵守规则在使用不同类型数据的系统中可能更具挑战性。

结合 RDW 和数据湖

在现代数据仓库 (MDW) 中，数据湖用于存储和准备数据，而关系型数据仓库 (RDW) 则确保数据安全并遵守规则。

数据湖

数据湖是一个灵活的存储空间，数据科学家和技术用户可以轻松地处理大量原始数据。它帮助他们探索和清理数据。

• 它可以处理大量批处理数据和实时流数据。
• 即使需要大量的处理能力，用户也可以分析和改进数据。
• 它还保留来自关系型数据仓库 (RDW) 的旧数据和备份。
• 用户可以创建副本用于测试和探索，而无需更改原始数据。
• 访问数据速度很快，不需要严格的格式。

关系型数据仓库 (RDW)

关系型数据仓库专为希望快速轻松地访问结构化数据的业务用户而设计，使其非常适合生成报表和仪表板。

• 它针对快速查询进行了优化，尤其对于复杂的搜索。
• 许多用户可以同时运行查询，而不会降低系统速度。
• 它包含强大的安全措施来保护敏感信息。
• 有多种工具可帮助用户处理数据。
• 它非常适合回答特定问题并获得有价值的见解。

通向 MDW 的阶梯

创建现代数据仓库 (MDW) 是一项艰巨的任务，需要大量投资技术和资源。随着组织开始这段旅程，他们通常需要临时解决方案来满足其当前的数据需求。这些解决方案是通向完整现代数据仓库的阶梯，帮助企业在有效利用数据的同时保持灵活性。

以下是三种常见的阶梯式架构：

• EDW 增强
• 临时数据湖 + EDW
• 一体化方案

每个选项都有其自身的优点和缺点。它们帮助组织迁移到现代数据仓库 (MDW) 的有效性取决于组织的需求、现有系统、预算和目标。让我们仔细研究每一个选项。

EDW 增强

企业数据仓库 (EDW) 增强是一种方法，适用于已经拥有本地企业数据仓库 (EDW) 并希望管理更大数据集（通常称为“大数据”）的公司。这种方法帮助组织充分利用其数据，同时解决与存储和处理能力相关的挑战。

EDW 增强的运作方式

在此设置中，创建一个基于云的数据湖来存储大量数据。用户可以从此数据湖运行查询并创建报表，而主要数据保留在企业数据仓库 (EDW) 中。这允许公司使用云资源来管理大数据，而无需完全替换其现有系统。

EDW 增强的优势

以下是使用企业数据仓库 (EDW) 增强的主要优势。

• 容量增加：云数据湖有助于存储和处理更多数据，从而更轻松地管理大型数据集。
• 经济高效：这种方法是在保留现有企业数据仓库 (EDW) 的同时进行高级数据分析的经济高效的方式。
• 支持业务增长：它帮助组织改变其数据管理方式，以满足其不断增长的业务需求。

EDW 增强的挑战

虽然企业数据仓库 (EDW) 增强具有许多优点，但也有一些挑战是组织应该牢记的。

• 数据传输问题：在 EDW 和数据湖之间移动数据可能很慢。
• 工具兼容性：当前用于运行查询的工具可能无法与数据湖很好地配合使用，从而难以访问信息。
• 需要新的资源：组织可能需要更强大的计算能力和技能来管理湖中的数据，这可能会增加成本。
• 工作负载平衡：这种方法不会减少现有 EDW 的工作负载，因此它可能仍然面临性能问题。

使用 EDW 增强的迁移

此设置可以帮助组织将其本地企业数据仓库 (EDW) 缓慢迁移到云端。一旦数据湖到位，公司就可以开始将数据从 EDW 传输到数据湖，并可能作为完整现代数据仓库 (MDW) 的一部分传输到新的基于云的关系型数据仓库 (RDW)。

临时数据湖 + EDW

当公司需要处理大数据但没有时间进行大规模更改时，可以使用临时数据湖 + EDW 方法。此设置通过临时使用数据湖来减轻 EDW 的压力。

临时数据湖 + EDW 的运作方式

在此模型中，数据湖是一个临时存储空间，用于存储和改进数据。所有查询和报表都是通过企业数据仓库 (EDW) 完成的，使其易于设置和处理，而不会造成重大问题。

临时数据湖 + EDW 的优势

临时数据湖 + EDW 方法具有许多优势，可帮助组织更有效地管理其数据。

• 性能提升：通过将处理任务转移到数据湖，EDW 的整体性能得到提高。
• 速度和灵活性：在数据湖中使用不同的计算资源可以提高处理速度并提供更大的灵活性。
• 经济高效的解决方案：此方法允许组织管理大型数据集，而不会中断其当前的 EDW 操作，使其成为一种实用且适应性强的选择。

临时数据湖 + EDW 的挑战

临时数据湖 + EDW 方法的主要挑战之一是，组织可能无法充分利用数据湖的优势，因为它只是临时使用的。这种有限的使用可能会阻止他们访问数据湖提供的所有功能和优势，从而降低其改进数据管理的效率。

使用临时数据湖 + EDW 的迁移

这种方法可以通过少量更改轻松过渡到完整的现代数据仓库 (MDW)，使其成为组织的实用阶梯。

一体化方案

一体化架构深受众多组织，特别是初创企业和小型企业的欢迎，因为它提供了一种简便的数据管理方式。它允许快速原型设计，并专注于获得即时结果。

一体化架构的工作原理

在这种设置中，所有数据报告和查询都直接在数据湖中完成，无需单独的关系型数据仓库 (RDW)。这使得整体数据结构更加简单。

一体化架构的优势

一体化方法具有若干重要优势，使组织的数据管理更加轻松。

• 快速设置：此模型允许您快速启动并运行所有内容，以便您可以立即访问您的数据。
• 更简单的结构：通过将所有数据管理保留在数据湖中，它减少了对复杂维护和连接的需求。
• 灵活性：此设置可以轻松更改以适应不同类型的数据和新的需求。

一体化架构的挑战

一体化方法也面临一些挑战，尤其是在性能方面。如果没有关系型数据仓库 (RDW)，组织可能会在速度、安全性和用户体验方面遇到困难。虽然一些专注于数据科学的公司可能仅靠数据湖就能应付，但最终他们需要添加关系型数据仓库 (RDW)才能充分受益于完整的现代数据仓库 (MDW)。

一体化架构下的迁移

对于某些组织，特别是那些专注于数据科学的组织，仅使用数据湖就足够了。但是，要完全过渡到完整的现代数据仓库 (MDW)，他们最终需要添加一个关系型数据仓库 (RDW)。

本章解释了现代数据仓库 (MDW)以及数据旅程中的五个步骤：摄取、存储、转换、建模和可视化。我们讨论了现代数据仓库 (MDW)的优势和挑战，并探讨了EDW增强和临时数据湖等方法。