hive概念

• 基于hadoop的数据仓库解决方案
  将结构化的数据文件映射为数据库表
  提供类sql的查询语言HQL(Hive Query Language)
  Hive让更多的人使用Hadoop
• Hive成为Apache顶级项目
  Hive始于2007年的Facebook
  官网：hive.apache.org

hive的优势和特点

• 提供了一个简单的优化模型
  HQL类SQL语法，简化MR开发
  支持在不同的计算框架上运行
  支持在HDFS和HBase上临时查询数据
  支持用户自定义函数、格式
  成熟的JDBC和ODBC驱动程序，用于ETL和BI
  稳定可靠(真实生产环境)的批处理
  有庞大活跃的社区

数据库和数据仓库区别

数据库是用于事务性数据的处理，存储结构化数据，存储在本地机器上
数据仓库用于OLAP（On-Line Analytical Processing），支持复杂的分析操作，存储结构化、非结构化、半结构化数据。

安装zookeeper

####### 安装zookeeper #######
前置条件安装完hadoop集群
下载zoopkeeper稳定版，拖进linux里的/opt目录下tar -zxf zookeeper-3.4.5-cdh5.14.2.tar.gz mv zookeeper-3.4.5-cdh5.14.2 soft/zk345cp zoo_sample.cfg zoo.cfg
修改zoo.cfgvi zoo.cfgdataDir=/opt/soft/zk345/tmp如果是完全分布式还需要在其他机器上布置zookeeper并在此配置文件下根据建立例如server.0=xxx:2287:3387 多台之间端口可以重复
配置环境变量a)Export ZOOKEEPER_HOME=/zookeeper解压路径b)Export PATH=……:$ZOOKEEPER_HOME/bin
启动zookeeperzkServer.sh start

安装hive

######### 安装hive #########
tar -zxf hive-1.1.0-cdh5.14.2.tar.gz 
mv zookeeper-3.4.5-cdh5.14.2 soft/zk345
修改hive-site.xml
配置环境变量
a)Export HIVE_HOME=/hive解压路径
b)Export PATH=……:$HIVE_HOME/bin
schematool -dbType mysql -initSchema    初始化hive
hive --service metastore   启动hive
hiveserver2  启动beeline
beeline -u jdbc:hive2://主机地址:10000 -n root    进入beeline
hive   进入hive
!quit   退出beeline

修改mysql登录密码

修改mysql登陆密码：
set password for 'root'@'localhost'=password('1234');   给数据库mysql设置密码
grant all privileges on *.* to 'root' @'%' identified by '1234';   授予远程权限
flush privileges;  刷新权限
show variables like '%character%';   设置编码格式

数据库

表的集合，hdfs中表现为一个文件夹
默认在hive.metastore.warehouse.dir属性目录下
如果没有指定数据库，默认使用default数据库

create database if not exists myhivebook;
use myhivebook;
show databases;
// 比show显示更多的细节，例如定位
describe database default; 
// 改变数据库的主人  
alter database myhivebook set owner user dayongd;
// cascade说明把该数据库包括表全部删除
drop database if exists myhivebook cascade;

🌰

// 插入数据
create database mydemo;
use mydemo;
create table userinfos(userid int, username string, age int);
insert into userinfos values(1,'zs',21),(2,'ls',22),(3,'ww',23);// 查看数据
!hdfs dfs -text /usr/hive/warehouse/mydemo.db/userinfos/...

• 用完先删表，再删库，再删元数据里面的表
  hive> drop table userinfos;
  hive> drop database mydemo;
  hive> drop table mydemo;

数据表

• 分为内部表和外部表
  • 内部表(管理表)
    hdfs中所属数据库目录下的子文件夹
    数据完全由hive管理，删除表(元数据)会删除数据
  • 外部表(External Tables)
    数据保存在指定位置的hdfs路径中
    hive不完全管理数据，删除表(元数据)不会删除数据

hive建表语句

// IF NOT EXISTS可选，如果表存在，则忽略
CREATE EXTERNAL TABLE IF NOT EXISTS employee_external(// 列出所有列和数据类型name string,work_place ARRAY<string>,sex_age STRUCT<sex:string,age:int>,skills_score MAP<string,int>,depart_title MAP<STRING,ARRAY<STRING>>
)
// COMMENT可选
COMMENT 'This is an external table'
ROW FORMAT DELIMITED
// 如何分割列（字段）
FIELDS TERMINATED BY '|'
// 如何分割集合和映射
COLLECTION ITEMS TERMINATED BY ','
MAP KEYS TERMINATED BY ':'
// 文件存储格式
STORED AS TEXTFILE
// 数据存储路径（HDFS）
LOCATION '/user/root/employee';

🌰

// 建内部表
create table class(class_id int, class_name string)
row format delimited
fields terminated by ','
stored as textfile;插入数据：
insert into class values(1,'kb03'),(2,'kb06');// 建外部表
create external table student(stu_id int,stu_name string,age int
)
row format delimited fields terminated by ','
location '/data';插入数据：
在外部建立数据文件d1.csv，拖进/opt，
hdfs dfs -put d1.csv /data/

hive和MapReduce

MapReduce执行效率更快，hive开发效率更快

hive元数据管理

• 记录数据仓库中模型的定义、各层级间的映射关系
• 存储在关系数据库中
  • 默认Derby，轻量级内嵌SQL数据库
    Derby非常适合测试和演示
    存储在.metastore_db目录中
  • 实际生产一般存储在MySql中
    修改配置文件hive-site.xml
• HCatalog
  将hive元数据共享给其他应用程序

hive元数据结构

数据结构	描述	逻辑关系	物理存储(hdfs)
database	数据库	表的集合	文件夹
table	表	行数据的集合	文件夹
partition	分区	用于分割数据	文件夹
buckets	分桶	用于分布数据	文件
row	行	行记录	文件中的行
columns	列	列记录	每行中指定的位置
views	视图	逻辑概念，可跨越多张表	不存储数据
index	索引	记录统计数据信息	文件夹

数据类型----复杂数据类型

ARRAY：存储的数据为想同类型
MAP：具有相同类型的键值对
STRUCT：封装了一组字段

类型	格式	定义	示例
ARRAY	[‘Apple’,‘Orange’,‘Mongo’]	ARRAY<string.>	a[0] = ‘Apple’
MAP	{‘A’:‘Apple’,‘O’:‘Orange’}	MAP<string,string>	b[‘A’] = ‘Apple’
STRUCT	{‘Apple’,2}	STRUCT<fruit:string,weight:int>	c.weight = 2

数据分层