ETL 测试 – 数据转换



执行数据转换有点复杂,因为它不能通过编写单个 SQL 查询然后将输出与目标进行比较来实现。对于 ETL 测试数据转换,您可能需要为每一行编写多个 SQL 查询来验证转换规则。

首先,确保源数据足以测试所有转换规则。成功执行数据转换的 ETL 测试的关键是从源系统中选择正确且足够的数据样本以应用转换规则。

ETL 测试数据转换的关键步骤如下所示:

  • 第一步是创建输入数据场景和预期结果的列表,并与业务客户验证这些结果。这对于设计阶段的需求收集是一个很好的方法,也可以用作测试的一部分。

  • 下一步是创建包含所有场景的测试数据。利用 ETL 开发人员来自动化使用场景电子表格填充数据集的整个过程,以允许通用性和可移动性,因为场景可能会发生变化。

  • 接下来,利用数据分析结果来比较目标数据和源数据中每个字段的值范围和提交情况。

  • 验证 ETL 生成的字段(例如,代理键)的准确处理。

  • 验证仓库中的数据类型是否与数据模型或设计中指定的相同。

  • 创建测试参照完整性的表之间的数据场景。

  • 验证数据中父到子的关系。

  • 最后一步是执行查找转换。您的查找查询应简单明了,没有任何聚合,并且预期每个源表只返回一个值。您可以像之前的测试一样,直接在源限定符中连接查找表。如果不是这种情况,请编写一个查询将查找表与源中的主表连接,并比较目标中相应列中的数据。

广告