Apache Spark - 安装

Spark 是 Hadoop 的子项目。因此，最好将 Spark 安装到基于 Linux 的系统中。以下步骤演示如何安装 Apache Spark。

步骤 1：验证 Java 安装

Java 安装是安装 Spark 的必备条件之一。尝试使用以下命令验证 JAVA 版本。

$java -version

如果 Java 已安装在您的系统上，您将看到以下响应：

java version "1.7.0_71" 
Java(TM) SE Runtime Environment (build 1.7.0_71-b13) 
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

如果您系统上未安装 Java，请在继续下一步之前安装 Java。

步骤 2：验证 Scala 安装

您应该使用 Scala 语言来实现 Spark。因此，让我们使用以下命令验证 Scala 安装。

$scala -version

如果 Scala 已安装在您的系统上，您将看到以下响应：

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

如果您系统上未安装 Scala，请继续下一步安装 Scala。

步骤 3：下载 Scala

访问以下链接下载最新版本的 Scala：下载 Scala。在本教程中，我们使用的是 scala-2.11.6 版本。下载后，您将在下载文件夹中找到 Scala tar 文件。

步骤 4：安装 Scala

请按照以下步骤安装 Scala。

解压 Scala tar 文件

输入以下命令解压 Scala tar 文件：

$ tar xvf scala-2.11.6.tgz

移动 Scala 软件文件

使用以下命令将 Scala 软件文件移动到相应的目录 **(/usr/local/scala)**。

$ su – 
Password: 
# cd /home/Hadoop/Downloads/ 
# mv scala-2.11.6 /usr/local/scala 
# exit

设置 Scala 的 PATH

使用以下命令设置 Scala 的 PATH。

$ export PATH = $PATH:/usr/local/scala/bin

验证 Scala 安装

安装后，最好进行验证。使用以下命令验证 Scala 安装。

$scala -version

如果 Scala 已安装在您的系统上，您将看到以下响应：

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

步骤 5：下载 Apache Spark

访问以下链接下载最新版本的 Spark：下载 Spark。在本教程中，我们使用的是 **spark-1.3.1-bin-hadoop2.6** 版本。下载后，您将在下载文件夹中找到 Spark tar 文件。

步骤 6：安装 Spark

请按照以下步骤安装 Spark。

解压 Spark tar 文件

以下命令用于解压 Spark tar 文件：

$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz

移动 Spark 软件文件

以下命令用于将 Spark 软件文件移动到相应的目录 **(/usr/local/spark)**。

$ su – 
Password:  

# cd /home/Hadoop/Downloads/ 
# mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark 
# exit

设置 Spark 的环境

将以下行添加到 ~**/.bashrc** 文件中。这意味着将 Spark 软件文件所在的路径添加到 PATH 变量。

export PATH=$PATH:/usr/local/spark/bin

使用以下命令加载 ~/.bashrc 文件。

$ source ~/.bashrc

步骤 7：验证 Spark 安装

输入以下命令打开 Spark shell。

$spark-shell

如果 Spark 成功安装，您将看到以下输出。

Spark assembly has been built with Hive, including Datanucleus jars on classpath 
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 
15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop 
15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop
15/06/04 15:25:22 INFO SecurityManager: SecurityManager: authentication disabled;
   ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop) 
15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server 
15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292. 
Welcome to 
      ____              __ 
     / __/__  ___ _____/ /__ 
    _\ \/ _ \/ _ `/ __/  '_/ 
   /___/ .__/\_,_/_/ /_/\_\   version 1.4.0 
      /_/  
		
Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71) 
Type in expressions to have them evaluated. 
Spark context available as sc  
scala>

打印页面