1.修改hadoop的yarn-site.xml

vim /export/servers/hadoop/etc/hadoop/yarn-site.xml

2.分发并重启Hadoop服务

/export/servers/hadoop/sbin/stop-dfs.sh

/export/servers/hadoop/sbin/stop-yarn.sh

/export/servers/hadoop/sbin/start-dfs.sh

/export/servers/hadoop/sbin/start-yarn.sh

●如果要整合YARN历史服务器和Spark历史服务器，则还需要如下操作：

1.开启YARN历史服务器的配置并启动

   /export/servers/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver

2.先配置Spark日志服务器[参考后面的章节]

3.修改spark-defaults.conf

vim /export/servers/spark/conf/spark-defaults.conf

4.启动Spark HistoryServer服务

   /export/servers/spark/sbin/start-history-server.sh

●如果依赖的Jar包较多可以上传到HDFS并告诉YARN去取

在spark-default.conf中配置

spark.yarn.jars = hdfs://node01:8020/sparkjars/*

配置之后各个节点会去HDFS上下载并缓存

如果不配置Spark程序启动会把Spark_HOME打包分发到各个节点

配置历史日志服务器

默认情况下, Spark 程序运行完毕关闭窗口后, 就无法再查看运行记录的 Web UI (4040)了, 通过 HistoryServer 可以提供一个服务, 通过读取日志文件, 使得我们可以在程序运行结束后, 依然能够查看运行过程

●修改文件名

cd /export/servers/spark/conf

cp spark-defaults.conf.template spark-defaults.conf

●修改配置

vim spark-defaults.conf

●注意:hdfs上的目录需要手动先创建  

hadoop fs -mkdir -p /sparklog

●修改spark-env.sh

vim spark-env.sh

●同步文件

scp  -r /export/servers/spark/conf/ @node02:/export/servers/spark/conf/

scp  -r /export/servers/spark/conf/ @node03:/export/servers/spark/conf/

●重启集群

/export/servers/spark/sbin/stop-all.sh

/export/servers/spark/sbin/start-all.sh

●在master上启动日志服务器

/export/servers/spark/sbin/start-history-server.sh

●在4000端口查看历史日志(如果加载不出来换浏览器试试)

http://node01:4000/

●如果遇到Hadoop HDFS的写入权限问题：

org.apache.hadoop.security.AccessControlException

解决方案：在hdfs-site.xml中添加如下配置，关闭权限验证