一、hive原理

hive是hadoop的数据仓库，是数据仓库的解决方案。
将结构化的数据映射一张数据库表，hive本身不存储数据，只处理数据。

hive的interface-命令行窗口

有两种工具：beeeline和hive命令行
有两种交互模式：命令行模式（使用较多）和交互模式
首先初始化元数据：
nohup hive --service metastore &；
hive的交互模式：hive 进入交互模式
beeline的交互模式：
输入：nohup hive --service hiveserver2 & 启动hiveserver2
在输入：beeline -u jdbc:hive2://localhost:10000 进入交互模式
hive 分层：21
ODS层：外表映射用户数据 原始数据层
DWD层：转化层 将外表转换成所需的表类型 同时分析 是个初转化层 函数 宏 视图 存储过程 数据清洗 数仓明细层
DWS层：对外业务的服务层 宽表 用户行为 轻度聚合（小宽表） 数仓服务层
ADS层：最终业务层 出报表 应用数据层
hive的数据结构

对数据库的基本操作：
创建数据库：
create database if not exists myhivebook;
使用某个数据库：
use myhivebook;
展示所有数据库：
show databases;
展示数据库的更多信息，如位置等
describe database default;
修改数据库的使用者：
alter database myhivebook set owner user dayongd;
删除数据库：
drop database if exists myhivebook cascade;

内部表（管理表）：

hdfs中所属数据库目录下的子文件。
删除表时，数据也一起删除
创表语句：

create table if not exists A(
id string,
name string,
age string)
row format delimited
fields terminated by ','
stored as textfile;

创建内部表，此内部表会在数据的子目录下，有和表名相同的目录。
添加数据 ：
load data [local] inpath ‘文件所处的路径’ into [overwriter] table A;
有local：从linux下拷贝数据，
无local：从hdfs上剪切数据到hive的指定位置下。
有overwrite：覆盖原有的数据
无overwrite：追加

外部表：

数据保存在指定位置的HDFS路径中
Hive不完全管理数据，删除表(元数据)不会删除数据
多用于ods层，

create external table if not exists A(
id string,
name string,
age string)
row format delimited
fields terminated by ','
stored as textfile
location '数据保存的指定路径'

上传数据到这个目录下：

load data [local] inpath '文件所处的路径' into [overwriter] table A;

或者
!hdfs dfs -put 源数据路径 hdfs文件路径（local下的路径）
此时数据可以自动映射为一张表
可以使用select * from A 查看这张映射的表。
临时表：
临时表是应用程序自动管理在复杂查询期间生成的中间数据的方法
表只对当前session有效，session退出后自动删除
表空间位于/tmp/hive-<user_name>(安全考虑)
如果创建的临时表表名已存在，实际用的是临时表

CREATE TEMPORARY TABLE tmp_table_name1 (c1 string);
CREATE TEMPORARY TABLE tmp_table_name2 AS..
CREATE TEMPORARY TABLE tmp_table_name3 LIKE..

分区表（重要）：
分区：就是在表的目录下根据一些特定的条件再创建一些子目录，这些子目录下有我们原始数据的划分号的一部分数据。
查询时我们可以通过分区列和常规列来查询，大大提高查询速度。
分区又分为是动态分区和静态分区
但是不管是静态还是动态，都要先创建分区表（创表方式一样）：
最好创建外部表，安全，

create external table if not exists A(
id string,
name string,
age string
)
partitioned by (sex string)
row format delimited
fields terminated by ','
stored as textfile;
location '表数据目录'；

注意：根据创建的表中的某个字段进行分割时，在创建表时不可以在添加这个字段，如上表中根据sex分区，创建的表的字段不能再有sex
表创建完成后，我们要导入数据，然后映射出一张表，供我们后期使用：
此时静态分区和动态分区才会有很大的不同，或者说是依据导数据的方式来判断 是动态分区还是静态分区：
静态分区：
如果你的原始数据文件已经根据分区关键字，如sex 分好了，即男是一个文件 女是一个文件
那么可以使用：

load data [local] inpath '数据存放的路径' into [overwriter] table A

的方式导入。
如果是一个完整的大文件
此时可以使用如下方法导入：

//注意查询的字段要与创建分区表时的字段一致
//产生一级子目录，需手动创建每一个分区，当分区交多时，麻烦
insert into employee_hrpar partition(sex='male') select id,username,bir from ods_users where sex='male';
insert into employee_hrpar partition(sex='female') select id,username,bir from ods_users where sex='female';
//产生二级子目录
insert into empar partition (year=2015,month=11) select name,id,number from employee_hr where year(start_date)=2015 and month(start_date)=11;

动态分区：
首先设置这两个配置：（短暂性设置，关闭后需重新设置）
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
创建分区表都是上面的创建方式
添加数据的方式如下：
再次之前可以使用groupby 或者 distinct 了解下数据信息，方便下面的分区.
方式：

//不需要手动一个一个分区，可以根据关键字自动分区。
//此时select中的字段要和创建表时的字段加上partition的关键字的一致。根据一个字段分区
insert into myuser partition(sex) select * from ods_users;
//根据两个字段分区
insert into empar partition(year,month) select name,id,number,year(start_date),month(start_date) from employee_hr;

静态分区：是自己定义数据 多用于增量表（不断增加表的内容）比如新闻表，每天都会变化增加需要事先知道有多少分区，每个分区都要手动插入。
动态分区：事先先用group 或者distinct 看一下字段值的种类
多用于每年 每月 每日 等 多用于全量导入 数据量不能太大