一、完全分布式
主机名    IP地址              软件         角色
nn60      192.168.4.60/24     HDFS，YARN   NameNode SecondaryNameNode ResourceManager
node61    192.168.4.61/24     HDFS，YARN   DataNode NodeManager
node62    192.168.4.62/24     HDFS，YARN   DataNode NodeManager
node63    192.168.4.63/24     HDFS，YARN   DataNode NodeManager
主机名   IP                作用
node4    192.168.4.64/24   新增节点
nfsgw    192.168.4.65/24   浏览访问HDFS文件系统

1）安装部署
1.Hadoop三大核心组件
分布式文件系统HDFS已经部署完毕
分布式计算框架MapReduce
集群资源管理yarn

2.mapred部署
分布式计算框架mapred-site.xml
改名
FROM : mapred-site.xml.template
To : mapred-site.xml
资源管理类
mapreduce.framework.name
分布式计算框架mapred-site.xml
只支持local和yarn两种
单机使用local
集群使用yarn
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
[root@nn60 ~]# cd /usr/local/hadoop/etc/hadoop/
[root@nn60 hadoop]# mv mapred-site.xml.template mapred-site.xml
[root@nn60 hadoop]# vim mapred-site.xml 
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

3.yarn部署
资源管理yarn-site.xml
resourcemanager地址
yarn.resourcemanager.hostname
nodemanager使用哪个计算框架
yarn.nodemanager.aux-services
mapreduce_ shuffle 计算框架的名称
mapreduce_ shuffle
资源管理yarn-site.xml    
yarn-site.xml配置
<property>
<name>yarn.resourcemanager.hostname</name>
<value>nn60</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>    
启动服务
# /usr/local/hadoop/sbin/start-yarn.sh
验证服务
jps和./bin/yarn node -list
# ./bin/yarn node -list 
[root@nn60 hadoop]# vim yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>nn60</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
[root@nn60 hadoop]# for i in 61 62 63;do rsync -aSH /usr/local/hadoop/ 192.168.4.$i:/usr/local/hadoop/ -e 'ssh' & done       ==>>同步配置
[1] 5403
[2] 5404
[3] 5405
[root@nn60 hadoop]# ./sbin/start-dfs.sh 
[root@nn60 hadoop]# ./sbin/start-yarn.sh 

4.Web访问Hadoop
namenode web页面(nn60)
# http://192.168.4.60:50070/
secondory namenode web页面(nn60)
# http://192.168.4.60:50090/
datanode web页面(node61,node62,node63)
# http://192.168.4.61:50075/
resourcemanager web页面(nn60)
# http://192.168.4.60:8088/
nodemanager web页面(node61,node62,node63)
# http://192.168.4.61:8042/

2）HDFS基本使用
1.HDFS使用
HDFS基本命令
# ./bin/hadoop fs -ls /
对应shell命令
#ls /

#./bin/hadoop fs -mkdir /abc
对应shell命令
# mkdir /abc

# ./bin/hadoop fs -touchz /urfile
对应shell命令
# touch /urfile
上传文件
# ./bin/hadoop fs -put localfile /remotefile
下载文件
# ./bin/hadoop fs -get /remotefile
[root@nn60 sbin]# cd /usr/local/hadoop/
[root@nn60 hadoop]# ./bin/hadoop fs -ls /   ==>>查看集群问价系统的根，没有内容
[root@nn60 hadoop]# ./bin/hadoop fs -mkdir /aaa    ==>>在集群文件系统下创建目录
[root@nn60 hadoop]# ./bin/hadoop fs -ls /
Found 1 items
drwxr-xr-x   - root supergroup          0 2020-08-09 07:42 /aaa
[root@nn60 hadoop]# ./bin/hadoop fs -touchz /fa   ==>>在集群文件系统下创建fa文件
[root@nn60 hadoop]# ./bin/hadoop fs -put *.txt /aaa  ==>>上传*.txt到集群文件系统下的aaa目录
[root@nn60 hadoop]# ./bin/hadoop fs -ls /aaa
Found 3 items
-rw-r--r--   2 root supergroup      86424 2020-08-09 07:45 /aaa/LICENSE.txt
-rw-r--r--   2 root supergroup      14978 2020-08-09 07:45 /aaa/NOTICE.txt
-rw-r--r--   2 root supergroup       1366 2020-08-09 07:45 /aaa/README.txt
[root@nn60 hadoop]# ./bin/hadoop fs -get /aaa   ==>>下载集群文件系统的aaa目录

2.Hadoop验证
创建文件夹
# ./bin/hadoop fs -mkdir /input
上传要分析的文件
# ./bin/hadoop fs -put * .txt /input
提交分析作业
# ./bin/Hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /input /output
查看结果
# ./bin/hadoop fs -cat output/*
[root@nn60 hadoop]# ./bin/hadoop jar \
> share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar \
> wordcount /aaa /bbb           ==>>集群分析大数据，hadoop集群/aaa里的数据存到/bbb下
[root@nn60 hadoop]# ./bin/hadoop fs -cat /bbb/*    ==>>查看集群里的数据

二、节点管理
1)HDFS节点管理
1.增加节点
HDFS增加结点
启动一个新的系统,设置SSH免密码登录
在所有节点修改/etc/hosts，增加新节点的主机信息
安装java运行环境(java-1.8.0-openjdk-devel)
修改NameNode的slaves文件增加该节点
拷贝NamNode的/usr/local/hadoop到本机
在该节点启动DataNode
./sbin/hadoop-daemon.sh start datanode
HDFS节点管理
设置同步带宽,并同步数据
# ./bin/hdfs dfsadmin -setBalancerBandwidth 60000000
# ./sbin/start balancer.sh
查看集群状态
# ./bin/hdfs dfsadmin -report
[root@node64 ~]# yum -y install java-1.8.0-openjdk-devel
[root@node64 ~]# mkdir /var/hadoop
[root@nn60 ~]# ssh-copy-id 192.168.4.64        
[root@nn60 ~]# vim /etc/hosts
192.168.4.60 nn60
192.168.4.61 node61
192.168.4.62 node62
192.168.4.63 node63
192.168.4.64 node64
[root@nn60 ~]# scp /etc/hosts 192.168.4.64:/etc/
[root@nn60 ~]# cd /usr/local/hadoop/
[root@nn60 hadoop]# vim ./etc/hadoop/slaves 
node61
node62
node63
node64
[root@nn60 hadoop]# for i in {61..64};do rsync -aSH /usr/local/hadoop/ 192.168.4.$i:/usr/local/hadoop/ -e 'ssh' & done
[root@node64 ~]# cd /usr/local/hadoop/
[root@node64 hadoop]# ./sbin/hadoop-daemon.sh start datanode  ==>>启动
[root@node64 hadoop]# jps
2336 Jps
2244 DataNode
[root@node64 hadoop]# ./bin/hdfs dfsadmin -setBalancerBandwidth 60000000
Balancer bandwidth is set to 60000000
[root@node64 hadoop]# ./sbin/start-balancer.sh
[root@nn60 hadoop]# ./sbin/start-yarn.sh
[root@nn60 hadoop]# ssh node64 jps
2560 NodeManager
2672 Jps
2244 DataNode

2.修复节点
修复节点比较简单,与增加节点基本一致
注意:新节点的ip和主机名要与损坏节点的一致
启动服务
# ./sbin/hadoop-daemon.sh start datanode
数据恢复是自动的
上线以后会自动恢复数据, 如果数据量非常巨大,可能需要一定的时间

3.删除节点
配置NameNode的hdfs-site.xml
增加dfs.hosts.exclude配置
<property> 
<name>dfs.hosts.exclude</name>
<value>/usr/local/hadoop/etc/hadoop/exclude</value>
</property>
增加exclude配置文件,写入要删除的节点主机名
更新数据
# ./bin/hdfs dfsadmin -refreshNodes
查看状态
# ./bin/hdfs dfsadmin -report
Normal :正常状态
Decommisioned in Program : 数据正在迁移
Decommissioned :数据迁移完成
注意:仅当状态变成Decommisioned才能down机下线
[root@nn60 hadoop]# vim etc/hadoop/slaves    ==>>删除节点信息
node61
node62
node63
[root@nn60 hadoop]# vim etc/hadoop/hdfs-site.xml     ==>>加入以下内容
<property> 
<name>dfs.hosts.exclude</name>
<value>/usr/local/hadoop/etc/hadoop/exclude</value>
</property>
[root@nn60 hadoop]# vim etc/hadoop/exclude
node64
[root@nn60 hadoop]# ./bin/hdfs dfsadmin -refreshNodes
Refresh nodes successful
[root@nn60 hadoop]# ./bin/hdfs dfsadmin -report
Name: 192.168.4.64:50010 (node64)
Hostname: node64
Decommission Status : Decommissioned    ==>>显示Decommissioned 

[root@node64 hadoop]# ./sbin/hadoop-daemon.sh stop datanode    ==>>停止datanode
stopping datanode
[root@node64 hadoop]# ./sbin/yarn-daemon.sh start nodemanager   ==>>yarn增加nodemanager
nodemanager running as process 2560. Stop it first.
[root@node64 hadoop]# ./sbin/yarn-daemon.sh stop nodemanager    ==>>停止nodemanager
stopping nodemanager
[root@node64 hadoop]# ./bin/yarn node -list  ==>>查看节点状态，删除节点，过一段事件才会消失

2）yarn节点管理
由于Hadoop在2.x引入了yarn框架,对于计算节点的操作已经变得非常简单
增加节点
# sbin/yarn-daemon.sh start nodemanager
删除节点
# sbin/yarn-daemon.sh stop nodemanager
查看节点(ResourceManager)
# ./bin/yarn node -list
yarn的系统环境配置与HDFS的基础环境配置是相同的,这里不再重复列出
由于yarn不包含数据,    所以在增加删除修复节点的时候比较简单, HDFS要注意数据安全

三、NFS网关
1）NFS配置
1.NFS网关
NFS网关用途
用户可以通过操作系统兼容的本地NFSv3客户端来浏览HDFS文件系统
用户可以从HDFS文件系统下载文档到本地文件系统
用户可以通过挂载点直接流化数据,支持文件附加，但是不支持随机写
NFS网关支持NFSv3和允许HDFS作为客户端文件系统的一部分被挂载
特性
HDFS超级用户是与NameNode进程本身具有相同标识的用户,超级用户可以执行任何操作,因为权限检查永远不会认为超级用户失败
注意事项
在非安全模式下,运行网关进程的用户是代理用户
在安全模式下, Kerberos keytab中的用户是代理用户

2.配置用户
配置代理用户
在NameNode和NFSGW_上添加代理用户
代理用户的UID , GID， 用户名必须完全相同
如果因特殊原因客户端的用户和NFS网关的用户UID不能保持一致,需要我们配置nfs.map的静态映射关系
nfs.map
uid 10 100 # Map the remote UID 10 the local UID 100
gid 11 101 # Map the remote GID 11 to the local GID 101
在namenode ( nn60 )上添加用户和组
groupadd -g 800 nfsuser
useradd -u 800 -g 800 -r -d /var/hadoop nfsuser
在nfs网关服务器也同样执行以上两条命令
[root@nn60 ~]# vim /etc/hosts
192.168.4.60 nn60
192.168.4.61 node61
192.168.4.62 node62
192.168.4.63 node63
192.168.4.64 node64
192.168.4.65 nfsgw65
[root@nn60 ~]# groupadd -g 800 nfsuser
[root@nn60 ~]# useradd -u 800 -g 800 -r -d /var/hadoop  nfsuser
[root@nfsgw65 ~]# groupadd -g 800 nfsuser
[root@nfsgw65 ~]# useradd -u 800 -g 800 -r -d /var/hadoop  nfsuser

3.配置core-site.xml
核心配置core-site.xml
hadoop.proxyuser.{代理用户}.groups 
hadoop.proxyuser.{代理用户}.hosts
这里的{代理用户}是主机上真实运行的nfs3的用户
在非安全模式下, 运行nfs网关的用户为代理用户
groups为挂载点用户所使用的组
hosts为挂载点主机地址
核心配置core- site.xml
...  ...
<property>
<name>hadoop.proxyuser.nfsuser.groups</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.nfsuser.hosts</name> 
<value>*</value>
</property>
...  ...
配置步骤
停止集群所有服务
# ./sbin/stop-all.sh 
同步配置文件到所有主机
启动hdfs
# ./sbin/start-dfs.sh
[root@nn60 ~]# cd /usr/local/hadoop/
[root@nn60 hadoop]# ./sbin/stop-all.sh    ==>>停止所有服务
[root@nn60 hadoop]# cd etc/hadoop/
[root@nn60 hadoop]# >exclude
[root@nn60 hadoop]# vim core-site.xml   ==>>添加以下内容
<property>
<name>hadoop.proxyuser.nfsuser.groups</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.nfsuser.hosts</name> 
<value>*</value>
</property>
[root@nn60 hadoop]# for i in {61..63};do rsync -aSH /usr/local/hadoop/ 192.168.4.$i:/usr/local/hadoop/ -e 'ssh' & done
[root@nn60 ~]# /usr/local/hadoop/sbin/start-dfs.sh 
[root@nn60 ~]# /usr/local/hadoop/bin/hdfs dfsadmin -report

2）NFSGW配置    
1.配置步骤
启动一个新的系统，卸载rpcbind、nfs-utils
配置/etc/hosts ,添加所有NameNode和DataNode的主机名与ip对应关系
安装JAVA运行环境( java-1.8.0-openjdk-devel )
同步NameNode的/usr/local/hadoop到本机
配置hdfs-site.xml
启动服务

2.配置hdfs-site.xml
配置文件hdfs-site.xml
nfs.exports.allowed.hosts
默认情况下, export可以被任何客户端挂载。为了更好的控制访问，可以设置属性。值和字符串对应机器名和访问策略,通过空格来分割。机器名的格式可以是单一的主机、Java的正则表达式或者IPv4地址
使用rw或ro可以指定导出目录的读写或只读权限。
如果访问策略没被提供，默认为只读。每个条目使用";"来分割
hdfs-site.xml配置
nfs.exports.allowed.hosts
配置 * rw
... ...
<property>
<name>nfs.exports.allowed.hosts< /name>
<value>* rw</value> 
</property>
... ...
nfs.dump.dir
用户需要更新文件转储目录参数。NFS客户端经常重新安排写操作,顺序的写操作会随机到达NFS网关。这个目录常用于临时存储无序的写操作。对于每个文件,无序的写操作会在他们积累在内存中超过一定阈值(如 ,1M)时被转储。需要确保有足够的空间的目录
如:应用上传10个100M ,那么这个转储目录推荐1GB左右的空间，以便每个文件都发生最坏的情况。只有NFS网关需要在设置该属性后重启
配置文件hdfs-site.xml
nfs.dump.dir
... ...
<property>
<name>nfs.dump.dir</name>
<value>/var/nfstmp</value>
</property>
... ...
配置完该属性后要创建/var/nfstmp文件夹
# mkdir /var/nfstmp
# chown nfsuser.nfsuser /var/nfstmp
并且把该文件夹的属组改成代理用户

3.NFS启动与挂载
启动与挂载
设置/usr/local/hadoop/logs权限,为代理用户赋予读写执行的权限
# setfacl -m user:nfsuser:rwx /usr/local/hadoop/logs
使用root用户启动portmap服务
# ./sbin/hadoop-daemon.sh --script ./ bin/hdfs start portmap
使用代理用户启动nfs3
# sudo -U nfsuser ./sbin/hadoop-daemon.sh --script ./bin/hdfs start nfs3 
警告
启动portmap需要使用root用户
启动nfs3需要使用core-site里面设置的代理用户
必须先启动portmap之后再启动nfs3
如果portmap重启了,在重启之后nfs3也需要重启
启动与挂载
目前NFS只能使用v3版本
vers=3
仅使用TCP作为传输协议
proto=tcp
不支持NLM
nolock
禁用access time的时间更新
noatime
禁用acl扩展权限
noacl 
强烈建议使用安装选项rsync ,它可以最小化避免重排序写入造成不可预测的吞吐量,未指定同步选项可能会导致上传大文件时出现不可靠行为
启动一台机器并安装nfs-utils
# yum install nfs-utils
挂载nfs
#mount -t nfs -o vers=3,proto=tcp,noatime,nolock,sync,noacl 192.168.4.65:/ /mnt/
[root@nfsgw65 ~]# yum -y install java-1.8.0-openjdk-devel
[root@nn60 ~]# for i in 61 62 63 65;do scp /etc/hosts root@192.168.4.$i:/etc/ ;done
[root@nn60 ~]# rsync -aSH --delete /usr/local/hadoop/ 192.168.4.65:/usr/local/hadoop/ -e 'ssh'
[root@nfsgw65 ~]# mkdir /var/hadoop
[root@nfsgw65 ~]# mkdir /var/nfstmp
[root@nfsgw65 ~]# chown nfsuser:nfsuser /var/nfstmp
[root@nfsgw65 ~]# setfacl -m user:nfsuser:rwx /usr/local/hadoop/logs
[root@nfsgw65 ~]# vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml   ==>>添加以下内容
<property> 
<name>nfs.exports.allowed.hosts</name>
<value>* rw</value>
</property>
<property>
<name>nfs.dump.dir</name>
<value>/var/nfstmp</value>
</property>
[root@nfsgw65 ~]# su - nfsuser
上一次登录：日 8月  9 09:05:05 CST 2020pts/0 上
-bash-4.2$ cd /var/nfstmp/
-bash-4.2$ touch 1
-bash-4.2$ ls
1
-bash-4.2$ rm -fr 1
-bash-4.2$ ls
-bash-4.2$ cd /usr/local/hadoop/logs/
-bash-4.2$ touch 1
-bash-4.2$ rm -fr 1
[root@nfsgw65 ~]# /usr/local/hadoop/sbin/hadoop-daemon.sh --script /usr/local/hadoop/bin/hdfs start portmap   ==>>portmap服务只能用root用户启动
starting portmap, logging to /usr/local/hadoop/logs/hadoop-root-portmap-nfsgw65.out
[root@nfsgw65 ~]# jps
4689 Jps
4649 Portmap
-bash-4.2$ ./sbin/hadoop-daemon.sh --script ./bin/hdfs start nfs3   ==>>nfs3只能用代理用户活动
starting nfs3, logging to /usr/local/hadoop/logs/hadoop-nfsuser-nfs3-nfsgw65.out
-bash-4.2$ jps
4744 Nfs3
4793 Jps
[root@nfsgw65 ~]# jps    ==>>root用户执行可以看到portmap和nfs3
4823 Jps
4744 Nfs3
4649 Portmap

[root@node64 ~]# rm -fr /usr/local/hadoop/
[root@node64 ~]# yum -y install nfs-utils
[root@node64 ~]# mount -t nfs -o vers=3,proto=tcp,noatime,nolock,sync,noacl 192.168.4.65:/ /mnt/    ==>>挂载 
[root@node64 ~]# cd /mnt/
[root@node64 mnt]# ls
aaa  bbb  fa  system  tmp
[root@node64 mnt]# touch a
[root@node64 mnt]# ls
a  aaa  bbb  fa  system  tmp
[root@node64 mnt]# rm -fr a
[root@node64 mnt]# ls
aaa  bbb  fa  system  tmp
[root@node64 mnt]# vim /etc/fstab 
192.168.4.65:/ /mnt/ nfs vers=3,proto=tcp,noatime,nolock,sync,noacl,_netdev 0 0
[root@node64 ~]# df -h
文件系统                 容量  已用  可用 已用% 挂载点
192.168.4.65:/           111G  5.2G  106G    5% /mnt
[root@node64 ~]# rpcinfo -p 192.168.4.65
program vers proto   port  service
100005    3   udp   4242  mountd
100005    1   tcp   4242  mountd
100000    2   udp    111  portmapper
100000    2   tcp    111  portmapper
100005    3   tcp   4242  mountd
100005    2   tcp   4242  mountd
100003    3   tcp   2049  nfs
100005    2   udp   4242  mountd
100005    1   udp   4242  mountd