Hadoop - 多节点集群

上一页
下一页

本章解释如何在分布式环境中设置 Hadoop 多节点集群。

由于无法演示整个集群，我们将使用三个系统（一个主节点和两个从节点）来解释 Hadoop 集群环境；以下是它们的IP地址。

  • Hadoop 主节点：192.168.1.15 (hadoop-master)
  • Hadoop 从节点：192.168.1.16 (hadoop-slave-1)
  • Hadoop 从节点：192.168.1.17 (hadoop-slave-2)

请按照以下步骤设置 Hadoop 多节点集群。

安装 Java

Java 是 Hadoop 的主要先决条件。首先，您应该使用“java -version”验证系统中是否存在 java。java 版本命令的语法如下所示。

$ java -version

如果一切正常，它将为您提供以下输出。

java version "1.7.0_71" 
Java(TM) SE Runtime Environment (build 1.7.0_71-b13) 
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

如果您的系统中未安装 java，请按照给定的步骤安装 java。

步骤 1

访问以下链接下载 java（JDK <最新版本> - X64.tar.gz） www.oracle.com

然后jdk-7u71-linux-x64.tar.gz 将下载到您的系统中。

步骤 2

通常您会在“下载”文件夹中找到下载的 java 文件。验证它并使用以下命令解压jdk-7u71-linux-x64.gz 文件。

$ cd Downloads/
$ ls
jdk-7u71-Linux-x64.gz

$ tar zxf jdk-7u71-Linux-x64.gz
$ ls
jdk1.7.0_71 jdk-7u71-Linux-x64.gz

步骤 3

为了使所有用户都能使用 java，您必须将其移动到“/usr/local/”位置。打开 root，然后键入以下命令。

$ su
password:
# mv jdk1.7.0_71 /usr/local/
# exit

步骤 4

要设置PATH 和JAVA_HOME 变量，请将以下命令添加到~/.bashrc 文件中。

export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH=PATH:$JAVA_HOME/bin

现在，如上所述，从终端验证java -version 命令。按照上述过程，在所有集群节点上安装 java。

创建用户帐户

在主节点和从节点系统上创建一个系统用户帐户以使用 Hadoop 安装。

# useradd hadoop 
# passwd hadoop

映射节点

您必须在所有节点上的/etc/ 文件夹中编辑hosts 文件，指定每个系统的 IP 地址及其主机名。

# vi /etc/hosts
enter the following lines in the /etc/hosts file.

192.168.1.109 hadoop-master 
192.168.1.145 hadoop-slave-1 
192.168.56.1 hadoop-slave-2

配置基于密钥的登录

在每个节点上设置 ssh，以便它们可以相互通信，而无需提示输入密码。

# su hadoop 
$ ssh-keygen -t rsa 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub tutorialspoint@hadoop-master 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp1@hadoop-slave-1 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp2@hadoop-slave-2 
$ chmod 0600 ~/.ssh/authorized_keys 
$ exit

安装 Hadoop

在主服务器中，使用以下命令下载并安装 Hadoop。

# mkdir /opt/hadoop 
# cd /opt/hadoop/ 
# wget http://apache.mesi.com.ar/hadoop/common/hadoop-1.2.1/hadoop-1.2.0.tar.gz 
# tar -xzf hadoop-1.2.0.tar.gz 
# mv hadoop-1.2.0 hadoop
# chown -R hadoop /opt/hadoop 
# cd /opt/hadoop/hadoop/

配置 Hadoop

您必须通过进行以下更改来配置 Hadoop 服务器。

core-site.xml

打开core-site.xml 文件并按如下所示进行编辑。

<configuration>
   <property> 
      <name>fs.default.name</name> 
      <value>hdfs://hadoop-master:9000/</value> 
   </property> 
   <property> 
      <name>dfs.permissions</name> 
      <value>false</value> 
   </property> 
</configuration>

hdfs-site.xml

打开hdfs-site.xml 文件并按如下所示进行编辑。

<configuration>
   <property> 
      <name>dfs.data.dir</name> 
      <value>/opt/hadoop/hadoop/dfs/name/data</value> 
      <final>true</final> 
   </property> 

   <property> 
      <name>dfs.name.dir</name> 
      <value>/opt/hadoop/hadoop/dfs/name</value> 
      <final>true</final> 
   </property> 

   <property> 
      <name>dfs.replication</name> 
      <value>1</value> 
   </property> 
</configuration>

mapred-site.xml

打开mapred-site.xml 文件并按如下所示进行编辑。

<configuration>
   <property> 
      <name>mapred.job.tracker</name> 
      <value>hadoop-master:9001</value> 
   </property> 
</configuration>

hadoop-env.sh

打开hadoop-env.sh 文件并按如下所示编辑 JAVA_HOME、HADOOP_CONF_DIR 和 HADOOP_OPTS。

注意 - 根据您的系统配置设置 JAVA_HOME。

export JAVA_HOME=/opt/jdk1.7.0_17
export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true
export HADOOP_CONF_DIR=/opt/hadoop/hadoop/conf

在从服务器上安装 Hadoop

按照给定的命令在所有从服务器上安装 Hadoop。

# su hadoop 
$ cd /opt/hadoop 
$ scp -r hadoop hadoop-slave-1:/opt/hadoop 
$ scp -r hadoop hadoop-slave-2:/opt/hadoop

在主服务器上配置 Hadoop

打开主服务器并按照给定的命令进行配置。

# su hadoop 
$ cd /opt/hadoop/hadoop

配置主节点

$ vi etc/hadoop/masters

hadoop-master

配置从节点

$ vi etc/hadoop/slaves

hadoop-slave-1 
hadoop-slave-2

在 Hadoop 主节点上格式化 NameNode

# su hadoop 
$ cd /opt/hadoop/hadoop 
$ bin/hadoop namenode –format
11/10/14 10:58:07 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************ 
STARTUP_MSG: Starting NameNode 
STARTUP_MSG: host = hadoop-master/192.168.1.109 
STARTUP_MSG: args = [-format] 
STARTUP_MSG: version = 1.2.0 
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1479473;
compiled by 'hortonfo' on Mon May 6 06:59:37 UTC 2013 
STARTUP_MSG: java = 1.7.0_71 

************************************************************/
11/10/14 10:58:08 INFO util.GSet: Computing capacity for map BlocksMap
editlog=/opt/hadoop/hadoop/dfs/name/current/edits
………………………………………………….
………………………………………………….
…………………………………………………. 
11/10/14 10:58:08 INFO common.Storage: Storage directory 
/opt/hadoop/hadoop/dfs/name has been successfully formatted.
11/10/14 10:58:08 INFO namenode.NameNode: 
SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at hadoop-master/192.168.1.15
************************************************************/

启动 Hadoop 服务

以下命令用于启动 Hadoop 主节点上的所有 Hadoop 服务。

$ cd $HADOOP_HOME/sbin
$ start-all.sh

在 Hadoop 集群中添加新的 DataNode

以下是向 Hadoop 集群添加新节点的步骤。

网络

使用一些适当的网络配置将新节点添加到现有的 Hadoop 集群中。假设以下网络配置。

对于新节点配置 -

IP address : 192.168.1.103 
netmask : 255.255.255.0
hostname : slave3.in

添加用户和 SSH 访问

添加用户

在新节点上，添加“hadoop”用户并使用以下命令将 Hadoop 用户的密码设置为“hadoop123”或任何您想要的密码。

useradd hadoop
passwd hadoop

设置从主节点到新从节点的无密码连接。

在主节点上执行以下操作

mkdir -p $HOME/.ssh 
chmod 700 $HOME/.ssh 
ssh-keygen -t rsa -P '' -f $HOME/.ssh/id_rsa 
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys 
chmod 644 $HOME/.ssh/authorized_keys
Copy the public key to new slave node in hadoop user $HOME directory
scp $HOME/.ssh/id_rsa.pub [email protected]:/home/hadoop/

在从节点上执行以下操作

登录到 hadoop。如果不行，登录到 hadoop 用户。

su hadoop ssh -X [email protected]

将公钥的内容复制到文件"$HOME/.ssh/authorized_keys" 中，然后通过执行以下命令更改其权限。

cd $HOME
mkdir -p $HOME/.ssh 
chmod 700 $HOME/.ssh
cat id_rsa.pub >>$HOME/.ssh/authorized_keys 
chmod 644 $HOME/.ssh/authorized_keys

检查来自主机的 ssh 登录。现在检查您是否可以从主节点无密码 ssh 到新节点。

ssh [email protected] or hadoop@slave3

设置新节点的主机名

您可以在文件/etc/sysconfig/network 中设置主机名

On new slave3 machine

NETWORKING = yes 
HOSTNAME = slave3.in

为了使更改生效，您可以重新启动机器或使用相应的主机名运行 hostname 命令到新机器（重新启动是更好的选择）。

在 slave3 节点机器上 -

hostname slave3.in

使用以下行更新集群中所有机器上的/etc/hosts -

192.168.1.102 slave3.in slave3

现在尝试使用主机名 ping 机器，以检查它是否解析为 IP。

在新节点机器上 -

ping master.in

在新节点上启动 DataNode

使用$HADOOP_HOME/bin/hadoop-daemon.sh 脚本手动启动 datanode 守护程序。它将自动联系主节点 (NameNode) 并加入集群。我们还应该将新节点添加到主服务器中的 conf/slaves 文件中。基于脚本的命令将识别新节点。

登录到新节点

su hadoop or ssh -X [email protected]

使用以下命令在新添加的从节点上启动 HDFS

./bin/hadoop-daemon.sh start datanode

检查新节点上 jps 命令的输出。如下所示。

$ jps
7141 DataNode
10312 Jps

从 Hadoop 集群中删除 DataNode

我们可以在集群运行时随时删除节点，而不会丢失任何数据。HDFS 提供了一个退役功能，确保安全地执行节点删除。要使用它，请按照以下步骤操作 -

步骤 1 - 登录到主节点

登录到安装了 Hadoop 的主机的用户。

$ su hadoop

步骤 2 - 更改集群配置

必须在启动集群之前配置排除文件。向我们的$HADOOP_HOME/etc/hadoop/hdfs-site.xml 文件添加一个名为 dfs.hosts.exclude 的键。与此键关联的值提供 NameNode 本地文件系统上文件的完整路径，该文件包含不允许连接到 HDFS 的机器列表。

例如，将以下行添加到etc/hadoop/hdfs-site.xml 文件。

<property> 
   <name>dfs.hosts.exclude</name> 
   <value>/home/hadoop/hadoop-1.2.1/hdfs_exclude.txt</value> 
   <description>DFS exclude</description> 
</property>

步骤 3 - 确定要退役的主机

每个要退役的机器都应该添加到由 hdfs_exclude.txt 标识的文件中，每行一个域名。这将阻止它们连接到 NameNode。如果您想删除 DataNode2，则"/home/hadoop/hadoop-1.2.1/hdfs_exclude.txt" 文件的内容如下所示。

slave2.in

步骤 4 - 强制重新加载配置

运行命令"$HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes"（不带引号）。

$ $HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes

这将强制 NameNode 重新读取其配置，包括新更新的“排除”文件。它将在一段时间内退役节点，从而为每个节点的块复制到计划保持活动状态的机器上留出时间。

在slave2.in 上，检查 jps 命令的输出。一段时间后，您将看到 DataNode 进程自动关闭。

步骤 5 - 关闭节点

退役过程完成后，可以安全地关闭退役的硬件以进行维护。运行 report 命令到 dfsadmin 以检查退役的状态。以下命令将描述退役节点和连接到集群的节点的状态。

$ $HADOOP_HOME/bin/hadoop dfsadmin -report

步骤 6 - 再次编辑排除文件

机器退役后，可以将其从“排除”文件中删除。再次运行"$HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes" 将把排除文件重新读入 NameNode；允许 DataNode 在维护完成后重新加入集群，或者集群再次需要更多容量等。

特别注意 - 如果遵循上述过程并且节点上仍运行 tasktracker 进程，则需要将其关闭。一种方法是像我们在上述步骤中那样断开机器的连接。主节点将自动识别该进程并将其声明为已死。无需遵循相同的过程来删除 tasktracker，因为它不像 DataNode 那样重要。DataNode 包含您想要安全删除的数据，而不会丢失任何数据。

tasktracker 可以随时通过以下命令运行/关闭。

$ $HADOOP_HOME/bin/hadoop-daemon.sh stop tasktracker
$HADOOP_HOME/bin/hadoop-daemon.sh start tasktracker
打印页面
上一页
下一页
广告