HBase - 安装

上一页
下一页

本章介绍如何安装和初始配置 HBase。要继续使用 HBase，需要 Java 和 Hadoop，因此您必须在系统中下载并安装 Java 和 Hadoop。

安装前设置

在将 Hadoop 安装到 Linux 环境之前，我们需要使用 **ssh**（安全外壳）设置 Linux。请按照以下步骤设置 Linux 环境。

创建用户

首先，建议为 Hadoop 创建一个单独的用户，以将 Hadoop 文件系统与 Unix 文件系统隔离。请按照以下步骤创建用户。

  • 使用命令“su”打开 root。
  • 使用命令“useradd username”从 root 帐户创建用户。
  • 现在，您可以使用命令“su username”打开现有的用户帐户。

打开 Linux 终端并键入以下命令以创建用户。

$ su
password:
# useradd hadoop
# passwd hadoop
New passwd:
Retype new passwd

SSH 设置和密钥生成

SSH 设置是执行集群上不同操作（例如启动、停止和分布式守护进程 shell 操作）所必需的。为了对 Hadoop 的不同用户进行身份验证，需要为 Hadoop 用户提供公钥/私钥对，并将其与不同的用户共享。

以下命令用于使用 SSH 生成键值对。将公钥从 id_rsa.pub 复制到 authorized_keys，并分别为 authorized_keys 文件提供所有者、读取和写入权限。

$ ssh-keygen -t rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

验证 ssh

ssh localhost

安装 Java

Java 是 Hadoop 和 HBase 的主要先决条件。首先，您应该使用“java -version”验证系统中是否存在 java。java 版本命令的语法如下所示。

$ java -version

如果一切正常，它将为您提供以下输出。

java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

如果您的系统中未安装 java，请按照以下步骤安装 java。

步骤 1

通过访问以下链接下载 java（JDK <最新版本> - X64.tar.gz）Oracle Java。

然后 **jdk-7u71-linux-x64.tar.gz** 将下载到您的系统中。

步骤 2

通常您会在 Downloads 文件夹中找到下载的 java 文件。验证它并使用以下命令解压缩 **jdk-7u71-linux-x64.gz** 文件。

$ cd Downloads/
$ ls
jdk-7u71-linux-x64.gz

$ tar zxf jdk-7u71-linux-x64.gz
$ ls
jdk1.7.0_71 jdk-7u71-linux-x64.gz

步骤 3

要使所有用户都能使用 java，您必须将其移动到“/usr/local/”位置。打开 root 并键入以下命令。

$ su
password:
# mv jdk1.7.0_71 /usr/local/
# exit

步骤 4

要设置 **PATH** 和 **JAVA_HOME** 变量，请将以下命令添加到 **~/.bashrc** 文件中。

export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH= $PATH:$JAVA_HOME/bin

现在将所有更改应用到当前正在运行的系统中。

$ source ~/.bashrc

步骤 5

使用以下命令配置 java 替代项

# alternatives --install /usr/bin/java java usr/local/java/bin/java 2

# alternatives --install /usr/bin/javac javac usr/local/java/bin/javac 2

# alternatives --install /usr/bin/jar jar usr/local/java/bin/jar 2


# alternatives --set java usr/local/java/bin/java

# alternatives --set javac usr/local/java/bin/javac

# alternatives --set jar usr/local/java/bin/jar

现在，如上所述，从终端验证 **java -version** 命令。

下载 Hadoop

安装 java 后，您必须安装 Hadoop。首先，使用如下所示的“Hadoop version”命令验证 Hadoop 的存在。

hadoop version

如果一切正常，它将为您提供以下输出。

Hadoop 2.6.0
Compiled by jenkins on 2014-11-13T21:10Z
Compiled with protoc 2.5.0
From source with checksum 18e43357c8f927c0695f1e9522859d6a
This command was run using
/home/hadoop/hadoop/share/hadoop/common/hadoop-common-2.6.0.jar

如果您的系统无法找到 Hadoop，则在您的系统中下载 Hadoop。请按照以下命令进行操作。

使用以下命令从 Apache 软件基金会下载并解压缩 hadoop-2.6.0。

$ su
password:
# cd /usr/local
# wget http://mirrors.advancedhosters.com/apache/hadoop/common/hadoop-
2.6.0/hadoop-2.6.0-src.tar.gz
# tar xzf hadoop-2.6.0-src.tar.gz
# mv hadoop-2.6.0/* hadoop/
# exit

安装 Hadoop

以任何所需的模式安装 Hadoop。这里，我们正在伪分布式模式下演示 HBase 功能，因此请以伪分布式模式安装 Hadoop。

以下步骤用于安装 **Hadoop 2.4.1**。

步骤 1 - 设置 Hadoop

您可以通过将以下命令附加到 **~/.bashrc** 文件中来设置 Hadoop 环境变量。

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

现在将所有更改应用到当前正在运行的系统中。

$ source ~/.bashrc

步骤 2 - Hadoop 配置

您可以在“$HADOOP_HOME/etc/hadoop”位置找到所有 Hadoop 配置文件。您需要根据您的 Hadoop 基础设施对这些配置文件进行更改。

$ cd $HADOOP_HOME/etc/hadoop

为了用 java 开发 Hadoop 程序，您必须通过将 **JAVA_HOME** 值替换为系统中 java 的位置来重置 **hadoop-env.sh** 文件中的 java 环境变量。

export JAVA_HOME=/usr/local/jdk1.7.0_71

您将必须编辑以下文件以配置 Hadoop。

core-site.xml

**core-site.xml** 文件包含诸如 Hadoop 实例使用的端口号、为文件系统分配的内存、存储数据的内存限制以及读/写缓冲区的大小等信息。

打开 core-site.xml 并将以下属性添加到 <configuration> 和 </configuration> 标记之间。

<configuration>
   <property>
      <name>fs.default.name</name>
      <value>hdfs://127.0.0.1:9000</value>
   </property>
</configuration>

hdfs-site.xml

**hdfs-site.xml** 文件包含诸如复制数据的值、namenode 路径以及您要存储 Hadoop 基础设施的本地文件系统的 datanode 路径等信息。

让我们假设以下数据。

dfs.replication (data replication value) = 1
(In the below given path /hadoop/ is the user name.
hadoopinfra/hdfs/namenode is the directory created by hdfs file system.)

namenode path = //home/hadoop/hadoopinfra/hdfs/namenode
(hadoopinfra/hdfs/datanode is the directory created by hdfs file system.)

datanode path = //home/hadoop/hadoopinfra/hdfs/datanode

打开此文件并在 <configuration>、</configuration> 标记之间添加以下属性。

<configuration>
   <property>
      <name>dfs.replication</name >
      <value>1</value>
   </property>
	
   <property>
      <name>dfs.name.dir</name>
      <value>file:///home/hadoop/hadoopinfra/hdfs/namenode</value>
   </property>
	
   <property>
      <name>dfs.data.dir</name>
      <value>file:///home/hadoop/hadoopinfra/hdfs/datanode</value>
   </property>
</configuration>

**注意：**在上面的文件中，所有属性值都是用户定义的，您可以根据您的 Hadoop 基础设施进行更改。

yarn-site.xml

此文件用于在 Hadoop 中配置 yarn。打开 yarn-site.xml 文件并在该文件中的 <configuration$gt;、</configuration$gt; 标记之间添加以下属性。

<configuration>
   <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
   </property>
</configuration>

mapred-site.xml

此文件用于指定我们使用哪个 MapReduce 框架。默认情况下，Hadoop 包含 yarn-site.xml 的模板。首先，需要使用以下命令将文件从 **mapred-site.xml.template** 复制到 **mapred-site.xml** 文件。

$ cp mapred-site.xml.template mapred-site.xml

打开 **mapred-site.xml** 文件并在 <configuration> 和 </configuration> 标记之间添加以下属性。

<configuration>
   <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
   </property>
</configuration>

验证 Hadoop 安装

以下步骤用于验证 Hadoop 安装。

步骤 1 - Name Node 设置

使用命令“hdfs namenode -format”设置 namenode，如下所示。

$ cd ~
$ hdfs namenode -format

预期结果如下。

10/24/14 21:30:55 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = localhost/192.168.1.11
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 2.4.1
...
...
10/24/14 21:30:56 INFO common.Storage: Storage directory
/home/hadoop/hadoopinfra/hdfs/namenode has been successfully formatted.
10/24/14 21:30:56 INFO namenode.NNStorageRetentionManager: Going to
retain 1 images with txid >= 0
10/24/14 21:30:56 INFO util.ExitUtil: Exiting with status 0
10/24/14 21:30:56 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at localhost/192.168.1.11
************************************************************/

步骤 2 - 验证 Hadoop dfs

以下命令用于启动 dfs。执行此命令将启动您的 Hadoop 文件系统。

$ start-dfs.sh

预期输出如下。

10/24/14 21:37:56
Starting namenodes on [localhost]
localhost: starting namenode, logging to /home/hadoop/hadoop-
2.4.1/logs/hadoop-hadoop-namenode-localhost.out
localhost: starting datanode, logging to /home/hadoop/hadoop-
2.4.1/logs/hadoop-hadoop-datanode-localhost.out
Starting secondary namenodes [0.0.0.0]

步骤 3 - 验证 Yarn 脚本

以下命令用于启动 yarn 脚本。执行此命令将启动您的 yarn 守护程序。

$ start-yarn.sh

预期输出如下。

starting yarn daemons
starting resourcemanager, logging to /home/hadoop/hadoop-
2.4.1/logs/yarn-hadoop-resourcemanager-localhost.out
localhost: starting nodemanager, logging to /home/hadoop/hadoop-
2.4.1/logs/yarn-hadoop-nodemanager-localhost.out

步骤 4 - 在浏览器上访问 Hadoop

访问 Hadoop 的默认端口号为 50070。使用以下 URL 在浏览器上获取 Hadoop 服务。

https://127.0.0.1:50070

Hadoop on Browser

步骤 5 - 验证集群的所有应用程序

访问集群所有应用程序的默认端口号为 8088。使用以下 URL 访问此服务。

https://127.0.0.1:8088/

Hadoop Applicatin Cluster

安装 HBase

我们可以以三种模式中的任何一种安装 HBase：独立模式、伪分布式模式和完全分布式模式。

在独立模式下安装 HBase

从 http://www.interior-dsgn.com/apache/hbase/stable/ 下载最新稳定版本的 HBase，使用“wget”命令，并使用 tar “zxvf”命令解压缩它。请参见以下命令。

$cd usr/local/
$wget http://www.interior-dsgn.com/apache/hbase/stable/hbase-0.98.8-
hadoop2-bin.tar.gz
$tar -zxvf hbase-0.98.8-hadoop2-bin.tar.gz

切换到超级用户模式并将 HBase 文件夹移动到 /usr/local，如下所示。

$su
$password: enter your password here
mv hbase-0.99.1/* Hbase/

在独立模式下配置 HBase

在继续使用 HBase 之前，您必须编辑以下文件并配置 HBase。

hbase-env.sh

设置 HBase 的 java Home 并从 conf 文件夹中打开 **hbase-env.sh** 文件。编辑 JAVA_HOME 环境变量并将现有路径更改为您的当前 JAVA_HOME 变量，如下所示。

cd /usr/local/Hbase/conf
gedit hbase-env.sh

这将打开 HBase 的 env.sh 文件。现在将现有的 **JAVA_HOME** 值替换为您当前的值，如下所示。

export JAVA_HOME=/usr/lib/jvm/java-1.7.0

hbase-site.xml

这是 HBase 的主要配置文件。通过打开 /usr/local/HBase 中的 HBase 主文件夹，将数据目录设置为适当的位置。在 conf 文件夹中，您会找到几个文件，打开 **hbase-site.xml** 文件，如下所示。

#cd /usr/local/HBase/
#cd conf
# gedit hbase-site.xml

在 **hbase-site.xml** 文件中，您会找到 <configuration> 和 </configuration> 标记。在它们内部，使用名称为“hbase.rootdir”的属性键设置 HBase 目录，如下所示。

<configuration>
   //Here you have to set the path where you want HBase to store its files.
   <property>
      <name>hbase.rootdir</name>
      <value>file:/home/hadoop/HBase/HFiles</value>
   </property>
	
   //Here you have to set the path where you want HBase to store its built in zookeeper  files.
   <property>
      <name>hbase.zookeeper.property.dataDir</name>
      <value>/home/hadoop/zookeeper</value>
   </property>
</configuration>

这样，HBase 的安装和配置部分就成功完成了。我们可以使用 HBase 的 bin 文件夹中提供的 **start-hbase.sh** 脚本启动 HBase。为此，请打开 HBase 主文件夹并运行 HBase 启动脚本，如下所示。

$cd /usr/local/HBase/bin
$./start-hbase.sh

如果一切顺利，当您尝试运行 HBase 启动脚本时，它将提示您一条消息，说明 HBase 已启动。

starting master, logging to /usr/local/HBase/bin/../logs/hbase-tpmaster-localhost.localdomain.out

在伪分布式模式下安装 HBase

现在让我们检查如何在伪分布式模式下安装 HBase。

配置 HBase

在继续使用 HBase 之前，请在您的本地系统或远程系统上配置 Hadoop 和 HDFS，并确保它们正在运行。如果 HBase 正在运行，请停止它。

hbase-site.xml

编辑 hbase-site.xml 文件以添加以下属性。

<property>
   <name>hbase.cluster.distributed</name>
   <value>true</value>
</property>

它将说明应以哪种模式运行 HBase。在本地文件系统中的同一文件中，使用 hdfs://// URI 语法更改 hbase.rootdir、您的 HDFS 实例地址。我们正在 localhost 的端口 8030 上运行 HDFS。

<property>
   <name>hbase.rootdir</name>
   <value>hdfs://127.0.0.1:8030/hbase</value>
</property>

启动 HBase

配置完成后，浏览到 HBase 主文件夹并使用以下命令启动 HBase。

$cd /usr/local/HBase
$bin/start-hbase.sh

**注意：**在启动 HBase 之前，请确保 Hadoop 正在运行。

检查 HDFS 中的 HBase 目录

HBase 在 HDFS 中创建其目录。要查看创建的目录，请浏览到 Hadoop bin 并键入以下命令。

$ ./bin/hadoop fs -ls /hbase

如果一切顺利，它将为您提供以下输出。

Found 7 items
drwxr-xr-x - hbase users 0 2014-06-25 18:58 /hbase/.tmp
drwxr-xr-x - hbase users 0 2014-06-25 21:49 /hbase/WALs
drwxr-xr-x - hbase users 0 2014-06-25 18:48 /hbase/corrupt
drwxr-xr-x - hbase users 0 2014-06-25 18:58 /hbase/data
-rw-r--r-- 3 hbase users 42 2014-06-25 18:41 /hbase/hbase.id
-rw-r--r-- 3 hbase users 7 2014-06-25 18:41 /hbase/hbase.version
drwxr-xr-x - hbase users 0 2014-06-25 21:49 /hbase/oldWALs

启动和停止主服务器

使用“local-master-backup.sh”，您可以启动多达 10 个服务器。打开 HBase 的主文件夹、master 并执行以下命令以启动它。

$ ./bin/local-master-backup.sh 2 4

要杀死备份主服务器，您需要它的进程 ID，它将存储在名为 **“/tmp/hbase-USER-X-master.pid.”** 的文件中。您可以使用以下命令杀死备份主服务器。

$ cat /tmp/hbase-user-1-master.pid |xargs kill -9

启动和停止 RegionServers

您可以使用以下命令从单个系统运行多个区域服务器。

$ .bin/local-regionservers.sh start 2 3

要停止区域服务器，请使用以下命令。

$ .bin/local-regionservers.sh stop 3

 

启动HBaseShell

成功安装HBase后，您可以启动HBase Shell。以下是启动HBase Shell需要遵循的一系列步骤。打开终端，并以超级用户身份登录。

启动Hadoop文件系统

浏览Hadoop主目录下的sbin文件夹，并启动Hadoop文件系统，如下所示。

$cd $HADOOP_HOME/sbin
$start-all.sh

启动HBase

浏览HBase根目录下的bin文件夹并启动HBase。

$cd /usr/local/HBase
$./bin/start-hbase.sh

启动HBase主服务器

这将是相同的目录。启动它，如下所示。

$./bin/local-master-backup.sh start 2 (number signifies specific
server.)

启动区域

启动区域服务器，如下所示。

$./bin/./local-regionservers.sh start 3

启动HBase Shell

您可以使用以下命令启动HBase Shell。

$cd bin
$./hbase shell

这将为您提供如下所示的HBase Shell提示符。

2014-12-09 14:24:27,526 INFO [main] Configuration.deprecation:
hadoop.native.lib is deprecated. Instead, use io.native.lib.available
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 0.98.8-hadoop2, r6cfc8d064754251365e070a10a82eb169956d5fe, Fri
Nov 14 18:26:29 PST 2014

hbase(main):001:0>

HBase Web界面

要访问HBase的Web界面，请在浏览器中输入以下URL。

https://127.0.0.1:60010

此界面列出了您当前正在运行的区域服务器、备份主服务器和HBase表。

HBase区域服务器和备份主服务器

HBase Servers

HBase表

HBase Tables

设置Java环境

我们还可以使用Java库与HBase通信，但在使用Java API访问HBase之前，您需要为这些库设置类路径。

设置类路径

在继续编程之前，请在.bashrc文件中将类路径设置为HBase库。在任何编辑器中打开.bashrc，如下所示。

$ gedit ~/.bashrc

在其中设置HBase库（HBase中的lib文件夹）的类路径，如下所示。

export CLASSPATH = $CLASSPATH://home/hadoop/hbase/lib/*

这是为了防止在使用Java API访问HBase时出现“类未找到”异常。

打印页面
上一页
下一页
广告