- Apache Flume 教程
- Apache Flume - 首页
- Apache Flume - 简介
- Hadoop中的数据传输
- Apache Flume - 架构
- Apache Flume - 数据流
- Apache Flume - 环境
- Apache Flume - 配置
- Apache Flume - 获取Twitter数据
- 序列生成器Source
- Apache Flume - NetCat Source
- Apache Flume 资源
- Apache Flume - 快速指南
- Apache Flume - 有用资源
- Apache Flume - 讨论
Apache Flume - 环境
我们已经在上一章节讨论了Flume的架构。本章节,我们将学习如何下载和安装Apache Flume。
在继续之前,你需要在你的系统中配置好Java环境。所以首先,确保你的系统已经安装了Java。本教程中的一些示例使用了Hadoop HDFS(作为sink)。因此,我们建议你安装Hadoop和Java。更多信息,请访问以下链接:https://tutorialspoint.com/hadoop/hadoop_enviornment_setup.htm
安装Flume
首先,从官网下载最新版本的Apache Flume软件: https://flume.apache.org/.
步骤1
打开网站。点击主页左侧的下载链接。它将带你到Apache Flume的下载页面。
步骤2
在下载页面,你可以看到Apache Flume的二进制文件和源文件的链接。点击链接apache-flume-1.6.0-bin.tar.gz
你将被重定向到一个镜像列表,你可以点击任意一个镜像开始下载。同样地,你可以通过点击apache-flume-1.6.0-src.tar.gz下载Apache Flume的源代码。
步骤3
在你已经安装了Hadoop、HBase和其他软件的安装目录下(如果你已经安装了任何软件),创建一个名为Flume的目录,如下所示。
$ mkdir Flume
步骤4
解压下载的tar文件,如下所示。
$ cd Downloads/ $ tar zxvf apache-flume-1.6.0-bin.tar.gz $ tar zxvf apache-flume-1.6.0-src.tar.gz
步骤5
将apache-flume-1.6.0-bin.tar文件的内容移动到前面创建的Flume目录中,如下所示。(假设我们在名为Hadoop的本地用户下创建了Flume目录。)
$ mv apache-flume-1.6.0-bin.tar/* /home/Hadoop/Flume/
配置Flume
要配置Flume,我们必须修改三个文件:flume-env.sh, flume-conf.properties, 和 .bashrc。
设置路径/类路径
在.bashrc文件中,设置Flume的主文件夹、路径和类路径,如下所示。
conf文件夹
如果你打开Apache Flume的conf文件夹,你会看到以下四个文件:
- flume-conf.properties.template,
- flume-env.sh.template,
- flume-env.ps1.template, 和
- log4j.properties.
现在重命名
flume-conf.properties.template 文件为 flume-conf.properties,并且
flume-env.sh.template 为 flume-env.sh
flume-env.sh
打开flume-env.sh文件并设置JAVA_HOME到你系统中Java的安装文件夹。
验证安装
通过浏览bin文件夹并键入以下命令来验证Apache Flume的安装。
$ ./flume-ng
如果你成功安装了Flume,你将得到Flume的帮助提示,如下所示。