数据仓库 - 元数据概念

什么是元数据？

元数据简单来说就是关于数据的数据。用于表示其他数据的数据称为元数据。例如，书籍的索引充当书籍内容的元数据。换句话说，我们可以说元数据是引导我们找到详细数据的汇总数据。在数据仓库方面，我们可以将元数据定义如下。

• 元数据是数据仓库的路线图。

• 数据仓库中的元数据定义了仓库对象。

• 元数据充当目录。此目录帮助决策支持系统定位数据仓库的内容。

注意 - 在数据仓库中，我们为给定数据仓库的数据名称和定义创建元数据。除了这些元数据之外，还会为任何提取的数据的时间戳、提取数据的来源创建附加元数据。

元数据的类别

元数据可以大致分为三类：

• 业务元数据 - 它包含数据所有权信息、业务定义和更改策略。

• 技术元数据 - 它包括数据库系统名称、表和列名称和大小、数据类型和允许的值。技术元数据还包括结构信息，例如主键和外键属性以及索引。

• 操作元数据 - 它包括数据的有效性和数据血统。数据的有效性是指数据是活动状态、已存档还是已清除。数据血统是指数据迁移的历史记录以及对其应用的转换。

元数据的角色

元数据在数据仓库中扮演着非常重要的角色。元数据在仓库中的作用与仓库数据不同，但它扮演着重要的角色。下面解释了元数据的各种角色。

• 元数据充当目录。

• 此目录帮助决策支持系统定位数据仓库的内容。

• 当数据从操作环境转换为数据仓库环境时，元数据帮助决策支持系统进行数据映射。

• 元数据有助于在当前详细数据和高度汇总数据之间进行汇总。

• 元数据还有助于在轻度详细数据和高度汇总数据之间进行汇总。

• 元数据用于查询工具。

• 元数据用于提取和清洗工具。

• 元数据用于报表工具。

• 元数据用于转换工具。

• 元数据在加载功能中起着重要作用。

下图显示了元数据的角色。

元数据仓库

元数据仓库是数据仓库系统的一个组成部分。它包含以下元数据：

• 数据仓库的定义 - 它包括数据仓库结构的描述。该描述由模式、视图、层次结构、派生数据定义以及数据市集位置和内容定义。

• 业务元数据 - 它包含数据所有权信息、业务定义和更改策略。

• 操作元数据 - 它包括数据的有效性和数据血统。数据的有效性是指数据是活动状态、已存档还是已清除。数据血统是指数据迁移的历史记录以及对其应用的转换。

• 从操作环境到数据仓库的映射数据 - 它包括源数据库及其内容、数据提取、数据分区清理、转换规则、数据刷新和清除规则。

• 汇总算法 - 它包括维度算法、粒度数据、聚合、汇总等。

元数据管理的挑战

元数据的重要性怎么强调都不为过。元数据有助于提高报告的准确性，验证数据转换，并确保计算的准确性。元数据还将业务术语的定义强制执行给业务最终用户。 尽管元数据有如此多的用途，但也面临着挑战。下面讨论其中一些挑战。

• 大型组织中的元数据分散在整个组织中。这些元数据分散在电子表格、数据库和应用程序中。

• 元数据可能存在于文本文件或多媒体文件中。要将这些数据用于信息管理解决方案，必须对其进行正确定义。

• 没有业界普遍接受的标准。数据管理解决方案供应商关注面狭窄。

• 没有简单易行且被普遍接受的元数据传递方法。