HiveServer2

修改端口

hiveserver2 --hiveconf hive.serve2.thrift.port=10086

启动

./beeline -u jdbc:hive2://hadoop001:10000/ruozedata_hive -n ruoze

Hive复杂数据类型

对于复杂数据类型，要掌握的是如何”存“和”取“

Array数组类型：
存：建表并且导入数据

create table hive_array(name string, work_locations array<string>)
row format delimited
fields terminated by '\t'
COLLECTION ITEMS TERMINATED BY ',';load data loca inpath '/home/ruoze/data/hive_array.txt' 
overwrite into table hive_array;COLLECTION ITEMS TERMINATED BY ',';的意思为数组里的分隔符为什么

计算hive_array表中工作地点数量

select name,size(work_locations) from hive_array;

查询在某地方工作的人
select * from hive_array where array_contains(work_locations,‘tianjin’);

size
array_contains(column, 'value')

Map类型
建表

create table hive_map(
id int, name string, members map<string,string>, age int
)
row format delimited
fields terminated by ','
COLLECTION ITEMS TERMINATED BY '#'
MAP KEYS TERMINATED BY ':'

;
取map中的值

	select id,name,members['father'] as father,members['mother'] as mother,age from hive_map;

取map的key

select id,name,map_keys(members) as relations,age from hive_map;

取map的values

select id,name,map_values(members) as relations,age from hive_map;

取数量

select id,name,size(members) from hive_map;

查询出有兄弟的人以及他的兄弟是谁
使用子查询搞定

select id,name,members['brother'] from hive_map where 
array_contains(map_keys(members),'brother');

Struct结构体格式
建表

create table hive_struct(
ip string, info struct<name:string,age:int>
)
row format delimited
fields terminated by '#'
COLLECTION ITEMS TERMINATED BY ':'
;

取数据

select ip,info.name,info.age from hive_struct

建表

create table click_log(
cookie_id string,
ad_id string,
time string
row format delimited fields terminated by '\t';

人 访问的所有ad_id 去重

select cookie_id, collect_set(ad_id) from click_log group by cookie_id;	select cookie_id, ad_id, count(1) amount from click_log group by cookie_id, ad_id;

ad_id ==> ad_list 找到对应的类别

select
click.cookie_id,click.ad_id,click.amount,ad_list.catalogs
from
(select cookie_id, ad_id, count(1) amount from click_log group by cookie_id, ad_id) click
join ad_list
on ad_list.ad_id = click.ad_id;

列转行
ad_101 catalog8|catalog1
==>
ad_101 catalog8
ad_101 catalog1

select ad_id, catalog from ad_list lateral view outer 
explode(split(catalogs,'\\|')) t as catalog;lateral view outer explode(split(catalogs,'\\|')) t as catalog

字段排序

sort_array(column)

查看内置函数

desc function + 函数名

查看详细内容

desc function extended +函数名

时间函数

year('2009-07-30') 返回 2009
to_date("2020-01-08 20:18:08") 返回 2020-01-08
data_add('2009-07-30',1) 加一天，返回2009-07-31
data_sub('2009-07-30',1) 加一天，返回2009-07-29

类型转换

cast(value as type)

数学公式

round(12.3456,1) 保留一位小数
ceil(-0.1) 0  ceil(5)  5    求一个>=括号内的数字的整数
floor 求一个<=括号内数字的整数
abs() 求绝对值
least(v1,v2,...) 取最小
greatest(v1,v2,...) 取最大
substr（'facebook',5）book   字符串截取
substr('facebook',5,1) b 字符串截取
concat(str1,str2,...,strN) 拼接
concat_ws('.','www',array('facebook','com'))    www.facebook.com  第一个为拼接符号，
拼接里面的所有内容
length（）  求长度
split（‘oneAtwoBthreeC’,'[ABC]'） 【“one”，“two”，“three”】遇到大写的ABC分隔符就拆分开
有的分隔符需要转义
upper()  变成大写