文章目录

分布式文件系统Hadoop（三）深入部署

Hadoop HA

HDFS HA 部署
Hadoop 2.x YARN HA 部署

HDFS Federation 架构部署（联邦机制）

分布式文件系统Hadoop（三）深入部署

Hadoop HA
HA是指高可用，为了解决Hadoop单点故障问题，生产环境一般都做HA部署。
集群可以持续对外提供服务，做到7*24小时不间断，依赖于zookeeper。完全分布式的架构模式为一主多从，高可用集群架构为多主多从，也就是说高可用集群至少有两个namenode，但是同一时间只有一个是活跃的。我们把这个活跃的namenode称为active，其它的属于热备份状态，这们把这个namenode称之为standby，并且存储的元数据与active是一模一样的，当active宕机的时候，standby会立马切换为active。如果刚才宕机的namenode又恢复正常了，但是这个namenode只能是standby。但是这个集群也存在一个缺陷，就是在同一时间内只能有一个活跃的namenode。如果节点非常多（即元数据过多），这个活跃的namenode很容易崩溃。

联邦机制
同一个集群中可以有多个namenode，并且同一时间可以有多个活跃的namenode，这些namenode 共同使用集群中所有的datanode，每个namenode只负责管理集群中datanode上的一部分数据。但是联邦机制也会存在单点故障问题，如某一个活跃的namenode宕机了，会造成存在此namenode的数据无法访问，因此，一般的来说实际应用使用“联邦+高可用”模式搭建集群。

Hadoop HA

HA的意思是High Availability高可用，指当当前工作中的机器宕机后，会自动处理这个异常，并将工作无缝地转移到其他备用机器上去，以来保证服务的高可用。
HA方式安装部署才是最常见的生产环境上的安装部署方式。Hadoop HA是Hadoop 2.x中新添加的特性，包括NameNode HA 和 ResourceManager HA。因为DataNode和NodeManager本身就是被设计为高可用的，所以不用对他们进行特殊的高可用处理。

ntp服务

Hadoop对集群中各个机器的时间同步要求比较高，要求各个机器的系统时间不能相差太多，不然会造成很多问题。可以配置集群中各个机器和互联网的时间服务器进行时间同步，但是在实际生产环境中，集群中大部分服务器是不能连接外网的，这时候可以在内网搭建一个自己的时间服务器（NTP服务器），集群的各个机器与这个时间服务器进行时间同步。

我们选择node3为NTF服务器，其他机器和这台机器进行同步。
1、 检查ntp服务是否已经安装
sudo rpm -qa | grep ntp
ntpdate-4.2.6p5-1.el6.centos.x86_64
ntp-4.2.6p5-1.el6.centos.x86_64
#显示已经安装过了ntp程序，
#其中ntpdate-4.2.6p5-1.el6.centos.x86_64 是用来和某台服务器进行同步的，
#ntp-4.2.6p5-1.el6.centos.x86_64是用来提供时间同步服务的。
2、 修改配置文件ntp.conf
vim /etc/ntp.conf
启用restrice,修改网段
restrict 192.168.100.0 mask 255.255.255.0 nomodify notrap 
将这行的注释去掉，并且将网段改为集群的网段，我们这里是100网段。
注释掉server域名配置#server 0.centos.pool.ntp.org iburst#server 1.centos.pool.ntp.org iburst#server 2.centos.pool.ntp.org iburst#server 3.centos.pool.ntp.org iburst
是时间服务器的域名，这里不需要连接互联网，所以将他们注释掉。
修改
server 127.127.1.0
fudge 127.127.1.0 stratum 103、 修改配置文件ntpd
vim /etc/sysconfig/ntpd
添加一行配置：SYNC_CLOCK=yes
4、 启动ntp服务
systemctl start ntpd 
systemctl enabled ntpd 配置其他机器的同步
node2 1
切换到root用户进行配置通过contab进行定时同步：
crontab -e 修改1/2的时间看十分钟后是否会同步回来

Zookeeper

Zookeeper在Hadoop集群中的作用:
Zookeeper是分布式管理协作框架，Zookeeper集群用来保证Hadoop集群的高可用，（高可用的含义是：集群中就算有一部分服务器宕机，也能保证正常地对外提供服务。）

Zookeeper保证高可用的原理。
Zookeeper集群能够保证NamaNode服务高可用的原理是：Hadoop集群中有两个NameNode服务，两个NaameNode都定时地给Zookeeper发送心跳，告诉Zookeeper我还活着，可以提供服务，单某一个时间只有一个是Action状态，另外一个是Standby状态，一旦Zookeeper检测不到Action NameNode发送来的心跳后，就切换到Standby状态的NameNode上，将它设置为Action状态，所以集群中总有一个可用的NameNode，达到了NameNode的高可用目的。

Zookeeper的选举机制。
Zookeeper集群也能保证自身的高可用，保证自身高可用的原理是，Zookeeper集群中的各个机器分为Leader和Follower两个角色，写入数据时，要先写入Leader，Leader同意写入后，再通知Follower写入。客户端读取数时，因为数据都是一样的，可以从任意一台机器上读取数据。
这里Leader角色就存在单点故障的隐患，高可用就是解决单点故障隐患的。Zookeeper从机制上解决了Leader的单点故障问题，Leader是哪一台机器是不固定的，Leader是选举出来的。选举流程是，集群中任何一台机器发现集群中没有Leader时，就推荐自己为Leader，其他机器来同意，当超过一半数的机器同意它为Leader时，选举结束，所以Zookeeper集群中的机器数据必须是奇数。这样就算当Leader机器宕机后，会很快选举出新的Leader，保证了Zookeeper集群本身的高可用。

写入高可用。
集群中的写入操作都是先通知Leader，Leader再通知Follower写入，实际上当超过一半的机器写入成功后，就认为写入成功了，所以就算有些机器宕机，写入也是成功的。

读取高可用。
zookeeperk客户端读取数据时，可以读取集群中的任何一个机器。所以部分机器的宕机并不影响读取。

zookeeper服务器必须是奇数台，因为zookeeper有选举制度，角色有：领导者、跟随者、观察者，选举的目的是保证集群中数据的一致性。

我们这里在台机器上安装zookeeper集群。
node1
tar -zxf /opt/sofeware/zookeeper-3.4.8.tar.gz -C /opt/modules/
#拷贝conf下的zoo_sample.cfg副本，改名为zoo.cfg。zoo.cfg是zookeeper的配置文件：
cp conf/zoo_sample.cfg conf/zoo.cfg
#dataDir属性设置zookeeper的数据文件存放的目录：
dataDir=/opt/modules/zookeeper-3.4.8/data/zData
#指定zookeeper集群中各个机器的信息：server.1=bigdata-senior01.chybinmy.com:2888:3888server.2=bigdata-senior02.chybinmy.com:2888:3888server.3=bigdata-senior03.chybinmy.com:2888:3888
#server后面的数字范围是1到255，所以一个zookeeper集群最多可以有255个机器。#创建myid文件
在dataDir所指定的目录下创一个名为myid的文件，文件内容为server点后面的数字。
touch /opt/modules/zookeeper-3.4.8/data/zData/myid
echo 1 >> /opt/modules/zookeeper-3.4.8/data/zData/myid
##配置完成
分发到其他机器
scp -r /opt/modules/zookeeper-3.4.8 bigdata-senior02.chybinmy.com:/opt/modules
scp -r /opt/modules/zookeeper-3.4.8 bigdata-senior03.chybinmy.com:/opt/modules
修改其他机器上的myid文件
echo 2 > /opt/modules/zookeeper-3.4.8/data/zData/myid
echo 3 > /opt/modules/zookeeper-3.4.8/data/zData/myid
#启动zookeeper
需要在各个机器上分别启动zookeeper。
bin/zkServer.sh start'zookeeper命令
进入zookeeper Shell
在zookeeper根目录下执行 bin/zkCli.sh进入zk shell模式。
zookeeper很像一个小型的文件系统，/是根目录，下面的所有节点都叫zNode。
进入zk shell 后输入任意字符，可以列出所有的zookeeper命令
查询zNode上的数据：get /zookeeper
创建一个zNode : create /znode1 “demodata “
列出所有子zNode：ls /
删除znode : rmr /znode1
退出shell模式：quit'

HDFS HA 部署

HDFS HA原理
单NameNode的缺陷存在单点故障的问题，如果NameNode不可用，则会导致整个HDFS文件系统不可用。所以需要设计高可用的HDFS（Hadoop HA）来解决NameNode单点故障的问题。解决的方法是在HDFS集群中设置多个NameNode节点。但是一旦引入多个NameNode，就有一些问题需要解决。
HDFS HA需要保证的四个问题：
保证NameNode内存中元数据数据一致，并保证编辑日志文件的安全性。
多个NameNode如何协作
客户端如何能正确地访问到可用的那个NameNode。

怎么保证任意时刻只能有一个NameNode处于对外服务状态。
解决方法
对于保证NameNode元数据的一致性和编辑日志的安全性，采用Zookeeper来存储编辑日志文件。
两个NameNode一个是Active状态的，一个是Standby状态的，一个时间点只能有一个Active状态的
NameNode提供服务,两个NameNode上存储的元数据是实时同步的，当Active的NameNode出现问题时，通过Zookeeper实时切换到Standby的NameNode上，并将Standby改为Active状态。
客户端通过连接一个Zookeeper的代理来确定当时哪个NameNode处于服务状态。

HDFS HA架构中有两台NameNode节点，一台是处于活动状态（Active）为客户端提供服务，另外一台处于热备份状态（Standby）。

元数据文件有两个文件：fsimage和edits，备份元数据就是备份这两个文件。JournalNode用来实时从Active NameNode上拷贝edits文件，JournalNode有三台也是为了实现高可用。

Standby NameNode不对外提供元数据的访问，它从Active NameNode上拷贝fsimage文件，从JournalNode上拷贝edits文件，然后负责合并fsimage和edits文件，相当于SecondaryNameNode的作用。最终目的是保证Standby NameNode上的元数据信息和Active NameNode上的元数据信息一致，以实现热备份。

Zookeeper来保证在Active NameNode失效时及时将Standby NameNode修改为Active状态。

ZKFC（失效检测控制）是Hadoop里的一个Zookeeper客户端，在每一个NameNode节点上都启动一个ZKFC进程，来监控NameNode的状态，并把NameNode的状态信息汇报给
Zookeeper集群，其实就是在Zookeeper上创建了一个Znode节点，节点里保存了NameNode状态信息。当NameNode失效后，ZKFC检测到报告给Zookeeper，Zookeeper把对应的Znode删除掉，Standby ZKFC发现没有Active状态的NameNode时，就会用shell命令将自己监控的NameNode改为Active状态，并修改Znode上的数据。
Znode是个临时的节点，临时节点特征是客户端的连接断了后就会把znode删除，所以当ZKFC失效时，也会导致切换NameNode。

DataNode会将心跳信息和Block汇报信息同时发给两台NameNode，DataNode只接受Active NameNode发来的文件读写操作指令。

node1	node2	node3
NameNode	NameNode
Zookeeper	Zookeeper	Zookeeper
DataNode	DataNode	DataNode
	ResourceManage	ResourceManage
NodeManager	NodeManager	NodeManager

三台机器上分别创建目录/opt/modules/hadoopha/用来存放Hadoop HA环境。
mkdir /opt/modules/hadoopha
tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz -C /opt/modules/hadoopha/
修改hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中的JDK路径
export JAVA_HOME="/opt/modules/jdk1.7.0_67"
# 配置hdfs-site.xml<?xml version="1.0" encoding="UTF-8"?><configuration><property><!-- 为namenode集群定义一个services name --><name>dfs.nameservices</name><value>ns1</value></property><property><!-- nameservice 包含哪些namenode，为各个namenode起名 --><name>dfs.ha.namenodes.ns1</name><value>nn1,nn2</value></property><property><!--  名为nn1的namenode 的rpc地址和端口号，rpc用来和datanode通讯 --><name>dfs.namenode.rpc-address.ns1.nn1</name><value>bigdata-senior01.chybinmy.com:8020</value></property><property><!-- 名为nn2的namenode 的rpc地址和端口号，rpc用来和datanode通讯  --><name>dfs.namenode.rpc-address.ns1.nn2</name><value>bigdata-senior02.chybinmy.com:8020</value></property><property><!--名为nn1的namenode 的http地址和端口号，web客户端 --><name>dfs.namenode.http-address.ns1.nn1</name><value>bigdata-senior01.chybinmy.com:50070</value></property><property><!--名为nn2的namenode 的http地址和端口号，web客户端 --><name>dfs.namenode.http-address.ns1.nn2</name><value>bigdata-senior02.chybinmy.com:50070</value></property><property><!--  namenode间用于共享编辑日志的journal节点列表 --><name>dfs.namenode.shared.edits.dir</name><value>qjournal://bigdata-senior01.chybinmy.com:8485;bigdata-senior02.chybinmy.com:8485;bigdata-senior03.chybinmy.com:8485/ns1</value></property><property><!--  journalnode 上用于存放edits日志的目录 --><name>dfs.journalnode.edits.dir</name><value>/opt/modules/hadoopha/hadoop-2.5.0/tmp/data/dfs/jn</value></property><property><!--  客户端连接可用状态的NameNode所用的代理类 --><name>dfs.client.failover.proxy.provider.ns1</name><value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value></property><property><!--   --><name>dfs.ha.fencing.methods</name><value>sshfence</value></property><property><name>dfs.ha.fencing.ssh.private-key-files</name><value>/home/hadoop/.ssh/id_rsa</value></property></configuration>#配置core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<configuration><property><!--  hdfs 地址，ha中是连接到nameservice --><name>fs.defaultFS</name><value>hdfs://ns1</value></property><property><!--  --><name>hadoop.tmp.dir</name><value>/opt/modules/hadoopha/hadoop-2.5.0/data/tmp</value></property>
</configuration>
#hadoop.tmp.dir设置hadoop临时目录地址，默认时，NameNode和DataNode的数据存在这个路径下。# 配置slaves文件bigdata-senior01.chybinmy.combigdata-senior02.chybinmy.combigdata-senior03.chybinmy.com
##配置完成
分发到其他节点
分发之前先将share/doc目录删除，这个目录中是帮助文件，并且很大，可以删除。
scp -r /opt/modules/hadoopha bigdata-senior02.chybinmy.com:/opt/modules
scp -r /opt/modules/hadoopha bigdata-senior03.chybinmy.com:/opt/modules启动HDFS HA集群
三台机器分别启动Journalnode
sbin/hadoop-daemon.sh start journalnode
jps命令查看是否启动。启动Zookeeper
在三台节点上启动Zookeeper： 
bin/zkServer.sh startnode1格式化NameNode
bin/hdfs namenode -formatnode2格式化NameNode
bin/hdfs namenode -bootstrapStandby启动NameNode
在第一台、第二台上启动NameNode：
sbin/hadoop-daemon.sh start namenode
#查看HDFS Web页面，此时两个NameNode都是standby状态。
切换第一台为active状态：
bin/hdfs haadmin -transitionToActive nn1
#可以添加上forcemanual参数，强制将一个NameNode转换为Active状态。
bin/hdfs haadmin –transitionToActive -forcemanual nn1

配置故障自动转移
利用zookeeper集群实现故障自动转移，在配置故障自动转移之前，要先关闭集群，不能在HDFS运行期间进行配置。
关闭NameNode、DataNode、JournalNode、zookeepernode1
#修改hdfs-site.xml<property><name>dfs.ha.automatic-failover.enabled</name><value>true</value></property>#修改core-site.xml<property><name>ha.zookeeper.quorum</name><value>bigdata-senior01.chybinmy.com:2181,bigdata-senior02.chybinmy.com:2181,bigdata-senior03.chybinmy.com:2181</value></property>
将hdfs-site.xml和core-site.xml分发到其他机器三台机器启动zookeeper
创建一个zNode
cd /opt/modules/hadoopha/hadoop-2.5.0/
bin/hdfs zkfc -formatZK
#在Zookeeper上创建一个存储namenode相关的节点。启动HDFS、JournalNode、zkfc
启动NameNode、DataNode、JournalNode、zkfc
sbin/start-dfs.sh
#zkfc只针对NameNode监听

测试HDFS HA
1、 测试故障自动转移和数据是否共享
在nn1上上传文件
目前node1节点上的NameNode是Active状态的。
bin/hdfs dfs -put /opt/data/wc.input /
将nn1上的NodeNode进程杀掉
kill -9 3364
nn1上的namenode已经无法访问了。
查看nn2是否是Active状态
在nn2上查看是否看见文件

Hadoop 2.x YARN HA 部署

YARN HA原理
Hadoop2.4版本之前，ResourceManager也存在单点故障的问题，也需要实现HA来保证ResourceManger的高可也用性。
ResouceManager从记录着当前集群的资源分配情况和JOB的运行状态，YRAN HA 利用Zookeeper等共享存储介质来存储这些信息来达到高可用。另外利用Zookeeper来实现ResourceManager自动故障转移。

MasterHADaemon：控制RM的 Master的启动和停止，和RM运行在一个进程中，可以接收外部RPC命令。

共享存储：Active Master将信息写入共享存储，Standby Master读取共享存储信息以保持和Active Master同步。

ZKFailoverController：基于Zookeeper实现的切换控制器，由ActiveStandbyElector和HealthMonitor组成，ActiveStandbyElector负责与Zookeeper交互，判断所管理的Master是进入Active还是Standby；HealthMonitor负责监控Master的活动健康情况，是个监视器。

Zookeeper：核心功能是维护一把全局锁控制整个集群上只有一个Active的ResourceManager。

node1	node2	node3
NameNode	NameNode
Zookeeper	Zookeeper	Zookeeper
DataNode	DataNode	DataNode
	ResourceManage	ResourceManage
NodeManager	NodeManager	NodeManager

node1配置
#修改配置文件yarn-site.xml<?xml version="1.0" encoding="UTF-8"?><configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.log-aggregation-enable</name><value>true</value></property><property><name>yarn.log-aggregation.retain-seconds</name><value>106800</value></property><property><!--  启用resourcemanager的ha功能 --><name>yarn.resourcemanager.ha.enabled</name><value>true</value></property><property><!--  为resourcemanage ha 集群起个id --><name>yarn.resourcemanager.cluster-id</name><value>yarn-cluster</value></property><property><!--  指定resourcemanger ha 有哪些节点名 --><name>yarn.resourcemanager.ha.rm-ids</name><value>rm12,rm13</value></property><property><!--  指定第一个节点的所在机器 --><name>yarn.resourcemanager.hostname.rm12</name><value>bigdata-senior02.chybinmy.com</value></property><property><!--  指定第二个节点所在机器 --><name>yarn.resourcemanager.hostname.rm13</name><value>bigdata-senior03.chybinmy.com</value></property><property><!--  指定resourcemanger ha 所用的zookeeper 节点 --><name>yarn.resourcemanager.zk-address</name><value>bigdata-senior01.chybinmy.com:2181,bigdata-senior02.chybinmy.com:2181,bigdata-senior03.chybinmy.com:2181</value></property><property><!--  --><name>yarn.resourcemanager.recovery.enabled</name><value>true</value></property><property><!--  --><name>yarn.resourcemanager.store.class</name><value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value></property></configuration>#分发到其他机器
scp /opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior02.chybinmy.com:/opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/
scp /opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior03.chybinmy.com:/opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/#启动
#在bigdata-senior01上启动yarn：
sbin/start-yarn.sh
#在bigdata-senior02、bigdata-senior03上启动resourcemanager：
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start resourcemanager
jpsWeb客户端访问node2机器上的resourcemanager正常，它是active状态的。
访问另外一个resourcemanager，因为他是standby,会自动跳转到active的resourcemanager。

测试YARN HA
运行一个mapreduce job
bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /wc.input /input在job运行过程中，将Active状态的resourcemanager进程杀掉。
kill -9 4475
观察另外一个resourcemanager是否可以自动接替。
node2的resourcemanage Web客户端已经不能访问，node3的resourcemanage已经自动变为active状态。
#观察job是否可以顺利完成。
而mapreduce job 也能顺利完成，没有因为resourcemanager的意外故障而影响运行。

HDFS Federation 架构部署（联邦机制）

HDFS Federation 的使用原因
1、单个NameNode节点的局限性
命名空间的限制。
NameNode上存储着整个HDFS上的文件的元数据，NameNode是部署在一台机器上的，因为单个机器硬件的限制，必然会限制NameNode所能管理的文件个数，制约了数据量的增长。
数据隔离问题。
整个HDFS上的文件都由一个NameNode管理，所以一个程序很有可能会影响到整个HDFS上的程序，并且权限控制比较复杂。
性能瓶颈。
单个NameNode时HDFS文件系统的吞吐量受限于单个NameNode的吞吐量。因为NameNode是个JVM进程，JVM进程所占用的内存很大时，性能会下降很多。
2、 HDFS Federation介绍
HDFS Federation是可以在Hadoop集群中设置多个NameNode，不同于HA中多个NameNode是完全一样的，是多个备份，Federation中的多个NameNode是不同的，可以理解为将一个NameNode切分为了多个NameNode，每一个NameNode只负责管理一部分数据。
HDFS Federation中的多个NameNode共用DataNode。

node1	node2	node3
NameNode1	NameNode2	NameNode3
	ResourceManage
DataNode	DataNode	DataNode
NodeManager	NodeManager	NodeManager

创建HDFS Federation 版本Hadoop程序目录
在node1上创建目录/opt/modules/hadoopfederation /用来存放Hadoop Federation环境。
mkdir /opt/modules/hadoopfederation
tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz -C /opt/modules/hadoopfederation/
#修改hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中的JDK路径。
export JAVA_HOME=”/opt/modules/jdk1.7.0_67”# 配置hdfs-site.xml<configuration><property><!—配置三台NameNode --><name>dfs.nameservices</name><value>ns1,ns2,ns3</value></property><property><!—第一台NameNode的机器名和rpc端口，指定了NameNode和DataNode通讯用的端口号 --><name>dfs.namenode.rpc-address.ns1</name><value>bigdata-senior01.chybinmy.com:8020</value></property><property><!—第一台NameNode的机器名和rpc端口，备用端口号 --><name>dfs.namenode.serviceerpc-address.ns1</name><value>bigdata-senior01.chybinmy.com:8022</value></property><property><!—第一台NameNode的http页面地址和端口号 --><name>dfs.namenode.http-address.ns1</name><value>bigdata-senior01.chybinmy.com:50070</value></property><property><!—第一台NameNode的https页面地址和端口号 --><name>dfs.namenode.https-address.ns1</name><value>bigdata-senior01.chybinmy.com:50470</value></property><property><name>dfs.namenode.rpc-address.ns2</name><value>bigdata-senior02.chybinmy.com:8020</value></property><property><name>dfs.namenode.serviceerpc-address.ns2</name><value>bigdata-senior02.chybinmy.com:8022</value></property><property><name>dfs.namenode.http-address.ns2</name><value>bigdata-senior02.chybinmy.com:50070</value></property><property><name>dfs.namenode.https-address.ns2</name><value>bigdata-senior02.chybinmy.com:50470</value></property><property><name>dfs.namenode.rpc-address.ns3</name><value>bigdata-senior03.chybinmy.com:8020</value></property><property><name>dfs.namenode.serviceerpc-address.ns3</name><value>bigdata-senior03.chybinmy.com:8022</value></property><property><name>dfs.namenode.http-address.ns3</name><value>bigdata-senior03.chybinmy.com:50070</value></property><property><name>dfs.namenode.https-address.ns3</name><value>bigdata-senior03.chybinmy.com:50470</value></property></configuration>#配置core-site.xml<configuration><property><name>hadoop.tmp.dir</name><value>/opt/modules/hadoopha/hadoop-2.5.0/data/tmp</value></property></configuration>
#hadoop.tmp.dir设置hadoop临时目录地址，默认时，
#NameNode和DataNode的数据存在这个路径下。#配置slaves文件bigdata-senior01.chybinmy.combigdata-senior02.chybinmy.combigdata-senior03.chybinmy.com#配置yarn-site.xml<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>     <property><name>yarn.resourcemanager.hostname</name><value>bigdata-senior02.chybinmy.com</value></property>     <property><name>yarn.log-aggregation-enable</name><value>true</value></property>     <property><name>yarn.log-aggregation.retain-seconds</name><value>106800</value></property>     </configuration>分发到其他节点
分发之前先将share/doc目录删除，这个目录中是帮助文件，并且很大，可以删除。#格式化NameNode
在第一台上进行NameNode格式化
bin/hdfs namenode -format -clusterId hadoop-federation-clusterId
#这里一定要指定一个集群ID，使得多个NameNode的集群ID是一样的，
#因为这三个NameNode在同一个集群中，这里集群ID为hadoop-federation-clusterId。#第二台NameNode上
bin/hdfs namenode -format -clusterId hadoop-federation-clusterId
#第三台NameNode上
bin/hdfs namenode -format -clusterId hadoop-federation-clusterId#启动NameNode
sbin/hadoop-daemon.sh start namenode
启动后，用jps命令查看是否已经启动成功。
查看HDFS Web页面，此时三个NameNode都是standby状态。#启动DataNode
sbin/hadoop-daemon.sh start datanode
jps

测试HDFS Federation
node11、 修改core-site.xml
修改core-site.xml文件，指定连接的NameNode是第一台NameNode
vim etc/hadoop/core-site.xml<configuration><property><name>fs.defaultFS</name><value>hdfs://bigdata-senior01.chybinmy.com:8020</value></property><property><name>hadoop.tmp.dir</name><value>/opt/modules/hadoopfederation/hadoop-2.5.0/data/tmp</value></property></configuration>2、上传一个文件到HDFS
bin/hdfs dfs -mkdir /tmp
bin/hdfs dfs -put ~/shuffle_daily.sh /tmp/shuffle_daily.sh
3、 web查看HDFS文件可以看到，刚才的文件只上传到了bigdate-senior01机器上的NameNode上了，
并没有上传到其他的NameNode上去。
这样，在HDFS的客户端，可以指定要上传到哪个NameNode上，从而来达到了划分NameNode的目的。

主要参考博客

查看全文
如若内容造成侵权/违法违规/事实不符，请联系编程学习网邮箱：809451989@qq.com进行投诉反馈，一经查实，立即删除！

BTXM比特熊猫讲解
BTXM比特熊猫对接薇ssdzmh BTXM来自海外暗网的匿名公链，一群超级技术人才，他们具有特殊信仰。犹如比特币的中本聪，谁也不知道它是谁？但他的确天才般的创造了比特币的奇迹。简单的来说，BTXM为全球各行各业提供多元化的区块链技术架构，可同时支持多链并行，让区块链技术…...
2024/4/19 4:01:34
Linux如何永久打开端口
由于防火墙导致同局域网无法通过IP访问,Linux有多种防火墙，需要查看当前使用的防火墙（开机自启），再进行配置以下是 iptables 和 firewall 防火墙的相关配置，切忌将自己配置的防火墙设置开机自启netstat -ntlp 查看端口使用情况（1）iptables防火…...
2024/4/19 15:18:10
BTXM比特熊猫简介
BTXM比特熊猫薇：ssdzmh BTXM来自海外暗网的匿名公链，比特熊猫将于2020年6月底正式上线，BTXM实现绝对的匿名性的同时，最大的维护智能合约的并发性，确保提供智能合约，链上大数据模块设计，创新MVCCKVDB（多版本KV数据），快速应用转移等运行机制降低传统行业开发和使用成本…...
2024/4/14 13:31:51
论文解读《DRAW: A Recurrent Neural Network for Image Generation》
1.文章概括：2.介绍：3.DRAW网络模型3.1网络结构和计算拓扑关系3.2损失函数3.3随机数据生成4.读写操作4.1不注意read和write4.2选择性注意模型4.3读的操作4.4写的操作5.实验结果5.1杂乱的MNIST分类5.2MNIST生成5.3两位数的MNIST生成5.4街景门牌编号生成5.5生成CIFAR图像6.结论自…...
2024/4/14 14:38:30
An Efficient Framework for Multiple Subgraph Pattern Matching Models
论文传送门作者苏州大学Jiu-Ru Gao Wei Chen Jia-Jie Xu An Liu Zhi-Xu Li Lei Zhao昆士兰大学Hongzhi Yin摘要将大量数据图存储在云中的流行，启发了在远程云中的子图模式匹配。通常，子图模式匹配是根据子图同构定义的，是一个NP完全问题，有时过于严格，无法在某些应用中…...
2024/4/18 8:09:37
LeetCode 174. 地下城游戏 | Python
文章目录174. 地下城游戏题目解题思路代码实现实现结果欢迎关注 174. 地下城游戏题目来源：力扣（LeetCode）https://leetcode-cn.com/problems/dungeon-game 题目一些恶魔抓住了公主（P）并将她关在了地下城的右下角。地下城是由 M x N 个房间组成的二维网格。我们英勇的骑士（…...
2024/4/14 14:48:16
redis知识点笔记合集（持续更新中）
近期主要学习redis相关的知识，断断续续预计近个月时间。系统学习下来总体感觉redis是个功能很强大的中间件，为了加深理解依旧采用文档记录的方式进行相关知识点记录，在此进行总结分享，文档会持续更新。主要涉及redis的知识点如下：（1）redis的五种基础数据结构API及拓展数…...
2024/4/14 13:31:45
20岁无资本无未来
你学习一般，考上了现在的这所学校，成绩不算好，拿不到奖学金，上课不听讲，上自习不规律，考试靠突击，同学帮一把的话也能每科考到七八十分，但是与优秀总有很大距离。你家境一般，父母都是普通员工，你在这个城市的生活费是每月一千二，没事下下馆子，一个月添件衣服，想买…...
2024/4/19 11:39:18
初识Vue (一)
第一部分：三个Vue小案例一 .初识 Vue <div id="app">{{message}} </div>const app = new Vue({el:"#app",//用于挂载要管理的元素。data:{//存储数据。message:"你好"}})注：el属性决定了这个Vue对象挂载到哪一个元素是。很明显，…...
2024/4/20 15:49:23
编写一个程序，从10亿个数字的数组中找出100个最大的数字
本文翻译自：Write a program to find 100 largest numbers out of an array of 1 billion numbers I recently attended an interview where I was asked "write a program to find 100 largest numbers out of an array of 1 billion numbers." 我最近参加了一次采…...
2024/4/17 22:14:13
深度学习初学的一些理解感悟
阅读目录深度学习初学的一些概念Relevant Link深度学习小例子(1)深度学习小例子(2) 深度学习初学的一些概念常见的深度学习框架有 TensorFlow 、Caffe、Theano、Keras、PyTorch、MXNet等,本文后续代码主要在keras框架基础;神经网络的主要任务:是在学习时找到最优的参数（权重和…...
2024/4/25 11:43:17
python运算符
运算符 1.1运算符的概念运算符用于执行程序代码运算，会针对一个以上操作数项目来进行运算。例如：2+3，其操作数是2和3，而运算符则事“+”。 1.2运算符的分类算数运算符赋值运算符比较运算符（关系运算符）逻辑运算符条件运算符（三元运算符）2.算数运算符加法运算符表…...
2024/4/19 14:28:13
JS类型判断的四种方法
1.typeof typeof是一个操作符，其右侧跟一个一元表达式，并返回这个表达式的数据类型。返回的结果用该类型的字符串(全小写字母)形式表示，包括number,string,boolean,undefined,object,function,symbol等。复制代码 typeof “”; //string typeof 1; //number typeof fals…...
2024/4/1 3:58:31
ubuntu16.04卸载eigen
查看eigen3的位置：sudo updatedb locate eigen3 #查看eigen3的位置依次删除eigen3的安装文件:sudo rm -rf /usr/include/eigen3sudo rm -rf /usr/lib/cmake/eigen3sudo rm -rf /usr/local/include/eigen3sudo rm -rf /usr/share/doc/libeigen3-dev sudo rm -rf /usr/local/s…...
2024/4/14 13:31:56
Python学习Day-1
2020.7.12 ** Python学习Day-1python简介面向对象、解释型、弱类型的脚本语言，代码简洁，语法清晰简单，可扩展性强。面向对象类别：有具体特征解释型解释型：跨平台性强Dos命令cd：切换目录 dir：浏览目录 Mkdir：创建新目录 rmdir：删除目录 ipconfig：查看IP地址 Ping：测…...
2024/4/4 19:52:33
基于Scratch的弹球游戏需求分析
基于Scratch的弹球游戏需求分析 1.引言 1.1背景在学习编程之前，先以Scratch作为学习前的编程启蒙教育。以实际有趣的游戏小项目为基础，将各个知识点融入其中，保证课堂更为生动有趣，从而更好的激发学生的创造力。 1.2环境 Windows 10（根据自己来选择操作系统） Scratch3.0…...
2024/4/20 3:19:20
利用linQ对数据库进行增册改查
这个程序中的LINQ 查询语句使用了LINQ 声明性查询语法：本例中就是声明并初始化names 数组： string[] names = { “Alonso”, “Zheng”, “Smith”, “Jones”, “Smythe”, “Small”, “Ruiz”, “Hsieh”, “Jorgenson”, “Ilyich”, “Singh”, “Samba”, “Fatimah”…...
2024/4/14 13:31:35
Linux中的Vim配置
https://b23.tv/BV1iE411E7cn...
2024/4/14 13:31:35
IntentService源码简析
IntentService源码分析首先还是介绍一下，IntentService是Service的子类，具有两个特点：**1.自动开启子线程执行任务；2.执行完成自动结束。**此外，一个IntentService可以start()多次，每次开启一个工作线程来执行，所有线程都停止后才可能调用onDestory()。 1.如何构成 …...
2024/4/25 15:36:17
SpringBoot项目统一异常处理方案（三）
利用SpringAOP实现统一异常处理SpringBoot项目统一异常处理方案（一） SpringBoot项目统一异常处理方案（二）第三种：SpringAOP统一拦截通过AOP（面向切面编程）的方式，统一对 Controller 层的所有类的方法进行代理，所有被代理的方法都会经过SysControllerAspect的处理，这…...
2024/4/1 3:58:24

分布式文件系统Hadoop（三）深入部署

文章目录

分布式文件系统Hadoop（三）深入部署

Hadoop HA

HDFS HA 部署

Hadoop 2.x YARN HA 部署

HDFS Federation 架构部署（联邦机制）

相关文章

最新文章