hadoop单机版搭建

hadoop基础平台单击部署
author：lgm
EMAIL：2996244047@qq.com(qq邮箱一上来，瞬间low到起飞)

修改/etc/hosts

[root@westgis167~]# hostnamectl set-hostname hadoop
[root@westgis167~]# su -
[root@westgis167~]# vim  /etc/hosts10.103.104.167   westgis167
10.103.104.168  westgis168
......[root@hadoop ~]# 

配置ssh免密登陆

 ssh -keygen -t rsassh-copy-id -i ~/.ssh/id_rsa.pub hadoop

配置java环境变量

解压：tar -xzvf jdk-8u45-linux-x64.tar.gz -C

vim /etc/profile
export	JAVA_HOME=/home/lgm/java（配置自己的路径）
export	PATH=$JAVA_HOME/bin:$PATHsource /etc/profile（使环境变量生效）java -version（验证java环境是否配置成功）

配置hadoop环境变量

解压：

 tar -xzvf /data/hadoop-2.7.3.tar.gz 

修改：

vim /etc/profile

#HADOOP环境变量

export HADOOP_HOME=/home/lgm/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

变量生效：

source /etc/profile

修改hadoop配置文件etc/hadoop/hadoop-env.sh
在该文件中找到export JAVA_HOME=${JAVA_HOME}这一行，将其注释，并将下一行内容加入

export JAVA_HOME=/home/lgm/jdk#此内容指的是java环境变量，请以自己的为主。

修改hadoop配置文件etc/hadoop/core-site.xml,内容如下：

 [hadoop@master hadoop-2.6.5]$ vim etc/hadoop/core-site.xml<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://westgis190</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/lgm/hadoop/tmp/hadoop-${user.name}</value>
</property></configuration>

修改配置文件: etc/hadoop/hdfs-site.xml,内容如下：

[hadoop@master hadoop-2.6.5]$ vim etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/lgm/hadoop/hdfs/datanode</value>
</property>
<property>
<name>dfs.namenode.dir</name>
<value>file: ///home/lgm/hadoop/hdfs/namenode</value>
</property>
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>file: ///home/lgm/hadoop/hdfs/ namesecondary</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property></configuration>

修改配置文件:etc/hadoop/yarn-site.xml,内容如下：

[hadoop@master hadoop-2.6.5]$ vim etc/hadoop/yarn-site.xml
<configuration><!-- Site specific YARN configuration properties --><property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>westgis190</value>
</property>
</configuration>

修改配置文件: etc/hadoop/mapred-site.xml,内容如下：

[hadoop@master hadoop-2.6.5]$ cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
[hadoop@master hadoop-2.6.5]$ vim etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobtracker.staging.root.dir</name>
<value>lgm</value>
</property>
</configuration>

修改slaves

vim slaves

里面放置的是datanode节点信息

	10.103.104.190

格式化HDFS

[hadoop@master ~]$ hdfs namenode -format

启动hadoop集群
进入到hadoop的sbin目录下，执行如下脚本：

[hadoop@master sbin]$ ./start-all.sh

验证集群是否启动成功
jps
#直接输入java携带的jps命令查看集群节点

通过WebUI查看集群是否成功启动
在hadoop master端启动firefox浏览器，输入master:50070验证：

通过WebUI验证yarn是否正常
在浏览器中输入http://master:8088进行查看