Flume安装部署

1）添加服务

2）选择Flume

3）选择依赖

4）选择部署节点

5）完成

Sqoop安装部署

1）添加服务

2）选择Sqoop

3）选择部署节点

4）完成

配置Hadoop支持LZO

1）点击主机，在下拉菜单中点击Parcel

2）点击配置

3）加上gplextras parcel库的url
本地url:http://hadoop102:8900/cloudera-repos/gplextras6/6.2.1/parcels/
远程url: https://archive.cloudera.com/gplextras6/6.2.1/parcels/

4）静待片刻，Parcel列表中出现了GPLEXTERAS，依次点击下载、分配、激活。

5）修改HDFS配置
在HDFS配置项中搜索“压缩编码解码器”，加入com.hadoop.compression.lzo.LzopCodec

6）修改Hive配置
在Hive配置项中搜索“Hive 辅助 JAR 目录”，加入/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib

7）修改Sqoop配置
在Sqoop的配置项中搜索“sqoop-conf/sqoop-env.sh 的 Sqoop 1 Client 客户端高级配置代码段（安全阀）”，加入以下字段

HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/*
JAVA_LIBRARY_PATH=$JAVA_LIBRARY_PATH:/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/native

修改yarn配置参数

1）在yarn配置项中搜索“yarn.nodemanager.resource.memory-mb”，修改成4G。

2）在yarn配置项中搜索“yarn.scheduler.maximum-allocation-mb”，修改成2G。

3）重启相关组件