ETL - 简介

ETL 代表提取、转换和加载。ETL 工具从不同的 RDBMS 源系统提取数据，转换数据（例如应用计算、连接等），然后将数据加载到数据仓库系统。数据以维度表和事实表的形式加载到 DW 系统中。

提取

• ETL 加载期间需要一个暂存区。需要暂存区的原因有很多。

• 源系统仅在特定时间段内可用以提取数据。此时间段小于总数据加载时间。因此，暂存区允许您在时间段结束前从源系统提取数据并将其保留在暂存区中。

• 当您想要将来自多个数据源的数据组合在一起或想要将两个或多个系统连接在一起时，需要暂存区。例如，您将无法执行连接来自两个物理上不同的数据库的两个表的 SQL 查询。

• 不同系统的提取数据时间段根据时区和运营时间而有所不同。

• 从源系统提取的数据可用于多个数据仓库系统、操作数据存储等。

• ETL 允许您执行复杂的转换，并需要额外的区域来存储数据。

转换

在数据转换中，您对提取的数据应用一组函数以将其加载到目标系统中。不需要任何转换的数据称为直接移动或直通数据。

您可以对从源系统提取的数据应用不同的转换。例如，您可以执行自定义计算。如果您想要销售收入的总和，而数据库中没有，则可以在转换期间应用SUM公式并加载数据。

例如，如果您在表中以不同的列具有名字和姓氏，则可以在加载前使用连接。

加载

在加载阶段，数据被加载到最终目标系统，它可以是平面文件或数据仓库系统。