ETL测试 - 场景

结构验证

它涉及根据映射文档验证源表和目标表的结构。

应验证源系统和目标系统中的数据类型。

源系统和目标系统中数据类型的长度应相同。

源系统和目标系统中的数据字段类型及其格式应相同。

验证目标系统中的列名。

验证映射文档

它涉及验证映射文档，以确保已提供所有信息。映射文档应包含变更日志、维护数据类型、长度、转换规则等。

验证约束

它涉及验证约束并确保它们应用于预期的表。

数据一致性检查

它涉及检查外键等完整性约束的误用。

尽管属性的定义在语义层面上保持不变，但其长度和数据类型可能在不同的表中有所不同。

数据完整性验证

它涉及检查是否将所有数据从源系统加载到目标系统。

计算源系统和目标系统中的记录数。

边界值分析。

验证主键的唯一值。

数据正确性验证

它涉及验证目标系统中数据的数值。

在表中发现拼写错误或不准确的数据。

在导入时禁用完整性约束时，会存储空值或非唯一数据。

数据转换验证

它涉及为输入值和预期结果创建场景电子表格，然后与最终用户进行验证。

通过创建场景来验证数据中的父子关系。

使用数据分析来比较每个字段中的值范围。

验证仓库中的数据类型是否与数据模型中提到的相同。

数据质量验证

它涉及执行数字检查、日期检查、精度检查、数据检查、空值检查等。

示例 - 所有值的日期格式应相同。

空值验证

它涉及检查在该字段为非空值时出现的空值。

重复值验证

它涉及在目标系统中验证重复值，而数据来自源系统的多个列。

根据业务需求，验证主键和其他列是否存在任何重复值。

日期验证检查

验证ETL过程中执行的各种操作的日期字段。

执行日期验证的常见测试用例：

• 开始日期不得大于结束日期

• 日期值的格式应正确。

• 日期值不应有任何垃圾值或空值

完整数据验证减法查询

它涉及使用减法查询验证源表和目标表中的完整数据集。

• 您需要同时执行源减目标和目标减源。

• 如果减法查询返回一个值，则应将其视为不匹配的行。

• 您需要使用交集语句匹配源和目标中的行。

• 交集返回的计数应与源表和目标表的各个计数匹配。

• 如果减法查询不返回任何行，并且交集计数小于源计数或目标表计数，则表包含重复行。

其他测试场景

其他测试场景可以验证提取过程是否未从源系统提取重复数据。

测试团队将维护一个SQL语句列表，这些语句用于验证是否未从源系统提取重复数据。

数据清洗

在将数据加载到暂存区之前，应删除不需要的数据。