一台Ubuntu主机作Master,一台Ubuntu主机做slave01,一台Ubuntu主机做slave02。三台主机机器处于同一局域网下。

修改三台机器的/etc/hosts文件,添加同样的配置：

sudo vim /etc/hosts

192.168.0.10 master
192.168.0.11 slave01
192.168.0.12 slave02

配置ssh无密码登录本机和访问集群机器

在三台虚拟机中，使用以下命令安装 ssh：

sudo apt-get install openssh-server

在 master 节点上进行 ssh 配置，在 master 节点上执行以下命令：

su root

cd /root/.ssh ssh-keygen -t rsa

ssh-copy-id -i /root/.ssh/id_rsa.pub master

ssh-copy-id -i /root/.ssh/id_rsa.pub slave01

ssh-copy-id -i /root/.ssh/id_rsa.pub slave02

在 master 上对每一个节点进行测试，看是否能进行免密登录： ssh slaver1

安装JDK

在/usr 目录下新建 java 文件夹，然后将 jdk 压缩包复制在 java 文件夹下并进行解压。执行：

cd /usr

mkdir java

sudo tar -zxvf jdk-8u221-linux-x64.tar.gz

在/etc/profile 内配置环境变量：vim /etc/profile

添加如下信息：

export JAVA_HOME=/usr/java/jdk1.8.0_221

export CLASSPATH=:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

刷新环境配置。然后检测 Java 版本： source /etc/profile java -version

 

安装Hadoop

先在master主机上做安装Hadoop，暂时不需要在slave01,slave02主机上安装Hadoop.稍后会把master配置好的Hadoop发送给slave01,slave02.
在master主机执行如下操作：

sudo tar -zxf ~/home/hadoop-2.7.1.tar.gz -C /usr/local    # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.7.1/ ./hadoop            # 将文件夹名改为hadoop
sudo chown -R root ./hadoop       # 修改文件权限

vim ~/.bashrc 文件，添加如下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

接着让环境变量生效，执行如下代码： source ~/.bashrc

Hadoop集群配置

修改master主机中的Hadoop配置文件，这些文件都位于/usr/local/hadoop/etc/hadoop目录下。

修改slaves：
这里把DataNode的主机名写入该文件，每行一个。这里让master节点主机仅作为NameNode使用，因此把原来的localhost删掉。

slave01
slave02

 修改core-site.xml

  <configuration><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property></configuration>

修改hdfs-site.xml

  <configuration><property><name>dfs.replication</name><value>3</value></property></configuration>

 修改mapred-site.xml(复制mapred-site.xml.template,再修改文件名)

  <configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>

修改yarn-site.xml

 <configuration><!-- Site specific YARN configuration properties --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.hostname</name><value>master</value></property></configuration>

 配置好后，将 master 上的 /usr/local/hadoop 文件夹复制到各个节点上。之前有跑过伪分布式模式，建议在切换到集群模式前先删除之前的临时文件。在 master 节点主机上执行：

 cd /usr/local/
rm -rf ./hadoop/tmp   # 删除临时文件
rm -rf ./hadoop/logs/*   # 删除日志文件
tar -zcf ~/hadoop.master.tar.gz ./hadoop #打成压缩包
cd ~
scp ./hadoop.master.tar.gz slave01:/home
scp ./hadoop.master.tar.gz slave02:/home

在slave01,slave02节点上执行：

sudo rm -rf /usr/local/hadoop/
sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local
sudo chown -R root /usr/local/hadoop

注意：在每个节点的hadoop-env.sh中，再显示地重新声明一遍JAVA_HOME

export JAVA_HOME=/usr/java/jdk1.8.0_221

启动/关闭hadoop集群

在master主机上执行如下命令：

cd /usr/local/hadoop
bin/hdfs namenode -format
sbin/start-all.sh

运行后，在master，slave01,slave02运行jps命令，查看：

 关闭Hadoop集群:

cd /usr/local/hadoop
sbin/stop-all.sh