Apache NiFi - 监控

在 Apache NiFi 中，有多种方法可以监控系统的不同统计信息，例如错误、内存使用情况、CPU 使用情况、数据流统计信息等。在本教程中，我们将讨论最流行的方法。

内置监控

在本节中，我们将详细了解 Apache NiFi 中的内置监控。

公告板

公告板实时显示 NiFi 处理器生成的最新错误和警告。要访问公告板，用户需要转到右侧的下拉菜单并选择“公告板”选项。它会自动刷新，用户也可以禁用它。用户还可以通过双击错误导航到实际的处理器。用户还可以通过以下方式过滤公告：

• 按消息
• 按名称
• 按 ID
• 按组 ID

数据溯源 UI

要监控任何特定处理器或整个 NiFi 上发生的事件，用户可以从与公告板相同的菜单访问数据溯源。用户还可以通过以下字段过滤数据溯源存储库中的事件：

• 按组件名称
• 按组件类型
• 按类型

NiFi 摘要 UI

Apache NiFi 摘要也可以从与公告板相同的菜单访问。此 UI 包含有关该特定 NiFi 实例或集群的所有组件的信息。它们可以按名称、类型或 URI 进行过滤。不同的组件类型有不同的选项卡。以下是可以在 NiFi 摘要 UI 中监控的组件：

• 处理器
• 输入端口
• 输出端口
• 远程处理组
• 连接
• 处理组

在此 UI 中，在右下角有一个名为“系统诊断”的链接，用于检查 JVM 统计信息。

报告任务

Apache NiFi 提供多个报告任务来支持外部监控系统，例如 Ambari、Grafana 等。开发人员可以创建自定义报告任务，也可以配置内置报告任务以将 NiFi 的指标发送到外部监控系统。下表列出了 NiFi 1.7.1 提供的报告任务。

NiFi API

有一个名为“系统诊断”的 API，可用于在任何自定义开发的应用程序中监控 NiFi 统计信息。让我们在 postman 中检查 API。

请求

https://127.0.0.1:8080/nifi-api/system-diagnostics

响应

{
   "systemDiagnostics": {
      "aggregateSnapshot": {
         "totalNonHeap": "183.89 MB",
         "totalNonHeapBytes": 192819200,
         "usedNonHeap": "173.47 MB",
         "usedNonHeapBytes": 181894560,
         "freeNonHeap": "10.42 MB",
         "freeNonHeapBytes": 10924640,
         "maxNonHeap": "-1 bytes",
         "maxNonHeapBytes": -1,
         "totalHeap": "512 MB",
         "totalHeapBytes": 536870912,
         "usedHeap": "273.37 MB",
         "usedHeapBytes": 286652264,
         "freeHeap": "238.63 MB",
         "freeHeapBytes": 250218648,
         "maxHeap": "512 MB",
         "maxHeapBytes": 536870912,
         "heapUtilization": "53.0%",
         "availableProcessors": 4,
         "processorLoadAverage": -1,
         "totalThreads": 71,
         "daemonThreads": 31,
         "uptime": "17:30:35.277",
         "flowFileRepositoryStorageUsage": {
            "freeSpace": "286.93 GB",
            "totalSpace": "464.78 GB",
            "usedSpace": "177.85 GB",
            "freeSpaceBytes": 308090789888,
            "totalSpaceBytes": 499057160192,
            "usedSpaceBytes": 190966370304,
            "utilization": "38.0%"
         },
         "contentRepositoryStorageUsage": [
            {
               "identifier": "default",
               "freeSpace": "286.93 GB",
               "totalSpace": "464.78 GB",
               "usedSpace": "177.85 GB",
               "freeSpaceBytes": 308090789888,
               "totalSpaceBytes": 499057160192,
               "usedSpaceBytes": 190966370304,
               "utilization": "38.0%"
            }
         ],
         "provenanceRepositoryStorageUsage": [
            {
               "identifier": "default",
               "freeSpace": "286.93 GB",
               "totalSpace": "464.78 GB",
               "usedSpace": "177.85 GB",
               "freeSpaceBytes": 308090789888,
               "totalSpaceBytes": 499057160192,
               "usedSpaceBytes": 190966370304,
               "utilization": "38.0%"
            }
         ],
         "garbageCollection": [
            {
               "name": "G1 Young Generation",
               "collectionCount": 344,
               "collectionTime": "00:00:06.239",
               "collectionMillis": 6239
            },
            {
               "name": "G1 Old Generation",
               "collectionCount": 0,
               "collectionTime": "00:00:00.000",
               "collectionMillis": 0
            }
         ],
         "statsLastRefreshed": "09:30:20 SGT",
         "versionInfo": {
            "niFiVersion": "1.7.1",
            "javaVendor": "Oracle Corporation",
            "javaVersion": "1.8.0_151",
            "osName": "Windows 7",
            "osVersion": "6.1",
            "osArchitecture": "amd64",
            "buildTag": "nifi-1.7.1-RC1",
            "buildTimestamp": "07/12/2018 12:54:43 SGT"
         }
      }
   }
}