Apache Flume - 环境



我们已经在上一章节讨论了Flume的架构。本章节,我们将学习如何下载和安装Apache Flume。

在继续之前,你需要在你的系统中配置好Java环境。所以首先,确保你的系统已经安装了Java。本教程中的一些示例使用了Hadoop HDFS(作为sink)。因此,我们建议你安装Hadoop和Java。更多信息,请访问以下链接:https://tutorialspoint.com/hadoop/hadoop_enviornment_setup.htm

安装Flume

首先,从官网下载最新版本的Apache Flume软件: https://flume.apache.org/.

步骤1

打开网站。点击主页左侧的下载链接。它将带你到Apache Flume的下载页面。

Installing Flume

步骤2

在下载页面,你可以看到Apache Flume的二进制文件和源文件的链接。点击链接apache-flume-1.6.0-bin.tar.gz

你将被重定向到一个镜像列表,你可以点击任意一个镜像开始下载。同样地,你可以通过点击apache-flume-1.6.0-src.tar.gz下载Apache Flume的源代码。

步骤3

在你已经安装了HadoopHBase和其他软件的安装目录下(如果你已经安装了任何软件),创建一个名为Flume的目录,如下所示。

$ mkdir Flume 

步骤4

解压下载的tar文件,如下所示。

$ cd Downloads/ 
$ tar zxvf apache-flume-1.6.0-bin.tar.gz  
$ tar zxvf apache-flume-1.6.0-src.tar.gz

步骤5

将apache-flume-1.6.0-bin.tar文件的内容移动到前面创建的Flume目录中,如下所示。(假设我们在名为Hadoop的本地用户下创建了Flume目录。)

$ mv apache-flume-1.6.0-bin.tar/* /home/Hadoop/Flume/

配置Flume

要配置Flume,我们必须修改三个文件:flume-env.sh, flume-conf.properties,.bashrc

设置路径/类路径

.bashrc文件中,设置Flume的主文件夹、路径和类路径,如下所示。

setting the path

conf文件夹

如果你打开Apache Flume的conf文件夹,你会看到以下四个文件:

  • flume-conf.properties.template,
  • flume-env.sh.template,
  • flume-env.ps1.template, 和
  • log4j.properties.
conf Folder

现在重命名

  • flume-conf.properties.template 文件为 flume-conf.properties,并且

  • flume-env.sh.templateflume-env.sh

flume-env.sh

打开flume-env.sh文件并设置JAVA_HOME到你系统中Java的安装文件夹。

flume-env.sh

验证安装

通过浏览bin文件夹并键入以下命令来验证Apache Flume的安装。

$ ./flume-ng 

如果你成功安装了Flume,你将得到Flume的帮助提示,如下所示。

Verifying the Installation
广告
© . All rights reserved.