Apache NiFi - 数据溯源



Apache NiFi 记录并存储有关流中摄取数据时发生的事件的所有信息。数据溯源存储库存储此信息,并提供用于搜索此事件信息的 UI。数据溯源可以在 NiFi 级别和处理器级别访问。

Data Provenance

下表列出了 NiFi 数据溯源事件列表中的不同字段:

序号 字段名称 描述
1 日期/时间 事件的日期和时间。
2 类型 事件类型,例如“CREATE”。
3 FlowFileUuid 执行事件的 FlowFile 的 UUID。
4 大小 FlowFile 的大小。
5 组件名称 执行事件的组件的名称。
6 组件类型 组件的类型。
7 显示血缘 最后一列显示血缘图标,用于查看 FlowFile 血缘,如下面的图像所示。
Lineage Icon

要获取有关事件的更多信息,用户可以单击 NiFi 数据溯源 UI 第一列中的信息图标。

nifi.properties 文件中有一些属性用于管理 NiFi 数据溯源存储库。

序号 属性名称 默认值 描述
1 nifi.provenance.repository.directory.default ./provenance_repository 指定 NiFi 数据溯源的默认路径。
2 nifi.provenance.repository.max.storage.time 24 小时 指定 NiFi 数据溯源的最大保留时间。
3 nifi.provenance.repository.max.storage.size 1 GB 指定 NiFi 数据溯源的最大存储空间。
4 nifi.provenance.repository.rollover.time 30 秒 指定 NiFi 数据溯源的滚动时间。
5 nifi.provenance.repository.rollover.size 100 MB 指定 NiFi 数据溯源的滚动大小。
6 nifi.provenance.repository.indexed.fields EventType, FlowFileUUID, Filename, ProcessorID, Relationship 指定用于搜索和索引 NiFi 数据溯源的字段。
广告