参考：http://dblab.xmu.edu.cn/blog/2441-2/
http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/
http://dblab.xmu.edu.cn/blog/1187-2/

Hadoop与Spark搭建与应用程序开发

1.安装ssh
保证虚拟机可以连接外网。

安装成功后，ssh登录本机。

2.安装Java
在/usr/lib目录下新建jvm文件夹，把安装包放到/usr/lib/jvm下，然后解压。


JDK文件解压缩以后，可以执行如下命令到/usr/lib/jvm目录查看一下：

可以看到，在/usr/lib/jvm目录下有个jdk1.8.0_221目录。下面继续执行如下命令，设置环境变量：

在.bashrc文件中添加如下内容：

保存.bashrc文件并退出vim编辑器。然后，继续执行如下命令让.bashrc文件的配置立即生效：

这时，可以使用如下命令查看是否安装成功：

3.安装Hadoop
将 Hadoop 安装至 /usr/local/ 中：

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：

4.Hadoop集群安装配置
（1）网络配置
首先在各节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境、安装 Hadoop ，接着在 Master 节点上继续准备工作。首先在 Master 节点上修改主机名（即改为 Master），并修改自己所用节点的IP映射（Master：192.168.2.100；Slave01:192.168.2.119）。

同时在Slave 节点上，也对此两个文件进行相应的配置。配置好后需要在各个节点上测试是否相互 ping 得通。


（2）SSH无密码登陆节点
首先生成 Master 节点的公匙。

为了让 Master 节点需能无密码 SSH 本机，在 Master 节点上执行如下命令并验证，成功后执行exit返回原来的终端。


接着在 Master 节点将上公匙传输到 Slave1 节点：

接着在 Slave1 节点上，将 ssh 公匙加入授权：

这样，在 Master 节点上就可以无密码 SSH 到各个 Slave 节点了，可在 Master 节点上执行如下命令进行检验。

（3）配置环境变量

（4）配置集群环境
在slaves中，将作为 DataNode 的主机名写入该文件。

配置core-site.xml：

配置hdfs-site.xml：


配置yarn-site.xml：


配置mapred-site.xml，如果没有就拷贝mapred-site.xml.template然后重命名为mapred-site.xml（cp mapred-site.xml.template mapred-site.xml） 然后进行编辑：

配置好后，将 Master 上的 /usr/local/Hadoop 文件夹复制到各个节点上。在 Master 节点上执行：

在Slave01节点上执行：

（5）启动Hadoop集群
首次启动需要先在 Master 节点执行 NameNode 的格式化：
接着可以启动hadoop 了，启动需要在 Master 节点上进行：


启动完成后，可以通过命令 jps 来判断是否成功启动。


成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息。

（6）关闭 Hadoop 集群
在 Master 节点上执行的：

5.Spark分布式集群环境搭建
（1）安装Spark
下载完成后，执行如下命令：

（2）配置环境变量
在Mster节点主机的.bashrc添加如下配置：
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
执行如下命令使得配置立即生效：
source ~/.bashrc
（3）Spark配置
在Master节点主机上进行如下操作：
将 slaves.template 拷贝到 slaves

编辑slaves内容,把默认内容localhost替换成如下内容：

配置spark-env.sh文件，将 spark-env.sh.template 拷贝到spark-env.sh ：

编辑spark-env.sh,添加如下内容

配置好后，将Master主机上的/usr/local/spark文件夹复制到各个节点上。在Master主机上执行如下命令：

在slave01节点上分别执行下面的操作：

（4）启动Spark集群
启动Spark集群前，要先启动Hadoop集群。在Master节点主机上运行如下命令：

然后启动Spark集群，在Master节点主机上运行如下命令：

在Master节点上运行jps命令，可以看到多了个Master进程：

启动Slave节点，在Master节点主机上运行如下命令：

在slave01节点上运行jps命令，可以看到多了个Worker进程：

在浏览器上查看Spark独立集群管理器的集群信息，在master主机上打开浏览器，访问http://master:8080,如下图：

（5）关闭Spark集群