Splunk - 数据摄取



Splunk 中的数据摄取通过添加数据功能完成,该功能是搜索和报告应用程序的一部分。登录后,Splunk 接口的主屏幕会显示添加数据图标,如下所示。

Ingestion1

单击此按钮后,系统会显示一个屏幕,供您选择要推送到 Splunk 进行分析的数据源和格式。

收集数据

我们可以从 Splunk 官方网站获取要分析的数据。保存此文件并将其解压缩到您的本地驱动器中。打开文件夹后,您可以找到三个具有不同格式的文件。它们是由一些 Web 应用程序生成的日志数据。我们还可以收集 Splunk 提供的另一组数据,这些数据可从 Splunk 官方网页获取。

我们将使用这两组数据来了解 Splunk 各种功能的工作原理。

上传数据

接下来,我们从文件夹mailsv中选择文件secure.log,该文件夹已保存在我们的本地系统中,如上一段所述。选择文件后,我们使用右上角的绿色“下一步”按钮进入下一步。

Ingestion2

选择数据源类型

Splunk 具有内置功能来检测正在摄取的数据类型。它还允许用户选择与 Splunk 选择的数据类型不同的数据类型。单击数据源类型下拉菜单,我们可以看到 Splunk 可以摄取并启用搜索的各种数据类型。

在下面给出的当前示例中,我们选择默认的数据源类型。

Ingestion3

输入设置

在此数据摄取步骤中,我们配置数据摄取的源主机名。以下是可供选择的主机名选项:

常量值

它是源数据所在的完整主机名。

路径中的正则表达式

当您想使用正则表达式提取主机名时。然后在“正则表达式”字段中输入要提取的主机的正则表达式。

路径中的段

当您想从数据源路径中的某个段提取主机名时,在“段号”字段中输入段号。例如,如果源路径为 /var/log/,并且您希望第三个段(主机服务器名称)作为主机值,则输入“3”。

接下来,我们选择要为输入数据创建的索引类型,以便于搜索。我们选择默认的索引策略。摘要索引仅通过聚合创建数据的摘要并对其创建索引,而历史索引用于存储搜索历史记录。下图清楚地说明了这一点:

Ingestion4

查看设置

单击“下一步”按钮后,我们会看到我们所选设置的摘要。我们对其进行审查,然后选择“下一步”以完成数据的上传。

Ingestion5

完成加载后,将显示以下屏幕,其中显示数据摄取成功以及我们可以对数据采取的其他操作。

Ingestion6
广告