一、 sqoop命令从Mysql单表导入hdfs命令

bin/sqoop import \
--connect jdbc:mysql://10.160.000.117:3306/phjr_data \
--m 1 \
--username mysql \
--password minmin@123 \
--table t_fgw_qt_lhszzxx \
--target-dir  /smxaq/PHJR/phjr_data/t_fgw_qt_lhszzxx \
--as-textfile \
--fields-terminated-by "," \
--lines-terminated-by "\n"  \
--compression-codec com.hadoop.compression.lzo.LzopCodec \
--autoreset-to-one-mapper \
--outdir /opt/sqoop_phjr

       --compression-codec com.hadoop.compression.lzo.LzopCodec     使用lzo压缩--autoreset-to-one-mapper     没有主键则是以一个map--outdir /opt/sqoop_phjr      自定义映射的java文件位置

二、 sqoop命令从Mysql多表全量导入hdfs命令

用sqoop导入mysql
sqoop-import-all-tables \
--connect jdbc:mysql://10.100.000.117:3306/phjr_data \
--username mysql \
--password Admin@124 \
--as-textfile \
--warehouse-dir /smxaq/PHJR/phjr_data/  \
--m 6 \
--fields-terminated-by "," \
--lines-terminated-by "\n"  \
--compression-codec com.hadoop.compression.lzo.LzopCodec \
--autoreset-to-one-mapper \
--outdir /opt/sqoop_phjr

       --compression-codec com.hadoop.compression.lzo.LzopCodec     使用lzo压缩--autoreset-to-one-mapper     没有主键则是以一个map--outdir /opt/sqoop_phjr      自定义映射的java文件位置--warehouse-dir          全量多表导入必须使用这个路径 一个表一个文件

1. sqoop脚本导入将oracle数据库下的组的所有表数据导入hdfs
2. 命令查询导入后的hdfs目录下文件总和
3. 数据抽取 [全量抽取] AND [增量抽取]