DML

        动态分区模式（让分区成为被查询出来的结果表的字段名称变量）

                脚本模板

INSERT OVERWRITE TABLE tablename 
PARTITION (col_name) select_statement FROM from_statement

                设置非严格模式

set hive.exec.dynamic.partition.mode=nonstric;

        将查询结果写入hdfs目录

INSERT OVERWRITE DIRECTORY directory1 SELECT ... FROM ...

        样例--默认

数据写入文件系统时进行文本序列化，且每列用^A来区分，\n换行
insert overwrite directory "/tmp/output2/" 
select * from student where come_date='20170905';

        样例--指定输分隔符

insert overwrite directory "/tmp/output2/"
row format delimited 
fields terminated by '\t'
select * from student where come_date='20170905';

        关于外表的说明和使用

内外表的唯一区分标识,即为external关键字.创建表时候有,则为外表,没有则默认均为内表

内表和外表的hdfs目录,均可以自由指定location,如不指定,则数据存储在hive的默认hdfs目录中,且后续均可以自由改变,但改变的场景不多,一般为了省事都不会轻易改变存储目录

应用场景

        如果表数据是外部load过来的,即为不可hive内部自生成,此时的表必须是外表.

        如果表数据是hive内部可以自生成,即不需要依赖外部的load数据,则此时的表应该是内表

DQL

       脚本模板

SELECT [DISTINCT] select_expr, select_expr, ...
FROM table_reference
[WHERE where_condition]
[GROUP BY col_list [HAVING condition]]
[ CLUSTER BY col_list| [DISTRIBUTE BY col_list] [SORT BY| ORDER BY col_list]
]
[LIMIT number]

      join查询

                将多个表通过字段关联在一起,形成查询结果

                inner join

                        将左表和右表满足联接条件的数据，全部查询出来

                left outer join

                        以左表为主，将左表数据全部保留，右表没有关联上数据字段置成NULL

                left outer join

                        以左表为主，将左表数据全部保留，右表没有关联上数据字段置成NULL

                full outer join

                        没有关联上数据字段全部置成NULL

                        full join=inner join+left join+right join

       union

                union all

                        将所有表数据，完全叠加在一起，不去重。

Hive系统函数        

        查看所有系统函数

                show functions

        函数分类

        

         

        使用示例

                desc function split

                count  统计记录行数

/最常见，但效率低
select count(*) from student;   
//推荐使用，效率高
select count(1) from student; 

                if   IF( Test Condition, True Value, False Value )

                coalesce  COALESCE( value1,value2,... )将参数列表中第1个不为null的值作为最后的值

                case...when        

CASE  [ expression ] WHEN condition1 THEN result1 WHEN condition2 THEN result2 ... WHEN conditionn THEN resultn ELSE result 
END

​​​​​​​​​​​​​​              split    将字符串拆分成一个数组

 

         ​​​​​​​explode：表成生成函数     将一个集合元素，打散成一行一行的组成，即将一行改成多行，换句话说行转列

 ​​​​​​​​​​​​​​        ​​​lateral view：  与explode联用，形成一张新表

                创建用户得分表​​​​​​​   

create table user_score(
id int,
name string,
score_list string
);

                插入相应数据

insert into table user_score values(1,'one','90,80,70');
insert into table user_score values(2,'two','65,75,85');
insert into table user_score values(3,'three','55,40,85');

                查看内部数据

              通过explode将一行转换成多行，通过lateral view将多行转换成一个表

              标准使用

        求分数大于等于80分的有多少人

 

 hive自定义函数

 UDF(user defined function)

• 背景

1. 系统内置函数无法解决所有的实际业务问题，需要开发者自己编写函数实现自身的业务实现诉求。
2. 应用场景非常多，面临的业务不同导致个性化实现很多，故udf很需要。

• 意义

1. 函数扩展得到解决，极大丰富了可定制化的业务需求。

• IO要求-要解决的问题

1. in:out=1:1,只能输入一条记录当中的数据，同时返回一条处理结果。
2. 属于最常见的自定义函数，像cos,sin,substring,instr等均是如此要求。

• 实现步骤(Java创建自定义UDF类)

1. 自定义一个java类
2. 继承UDF类
3. 约定俗成的重写evaluate方法
4. 打包类所在项目成一个all-in-one的jar包并上传到hive所在机器
5. 在hive中执行add jar操作，将jar加载到classpath中。
6. 在hive中创建模板函数，使得后边可以使用该函数名称调用实际的udf函数

hive sql中像调用系统函数一样使用udf函数

• 代码实现

1. 功能要求：实现当输入字符串超过2个字符的时候，多余的字符以"..."来表示。
2. 如“12”则返回“12”，如“123”返回“12..."
3. 自定义类、继承UDF、约定俗成的“重写”evaluate方法已在代码中体现

   package com.tianliangedu.hive.udf;
   import org.apache.hadoop.hive.ql.exec.UDF;
   /** 功能：实现当输入字符串超过2个字符的时候，多余的字符以"..."来表示。* 输入/输出：* 如“12”则返回“12”，如“123”返回“12..."*/
   public class ValueMaskUDF extends UDF{public String evaluate(String input,int maxSaveStringLength,String replaceSign) {if(input.length()<=maxSaveStringLength){return input;}return input.substring(0,maxSaveStringLength)+replaceSign;}public static void main(String[] args) {System.out.println(new ValueMaskUDF().evaluate("河北省",2,"..."));
   

• 布署步骤

1. maven管理

采用maven管理打包的方式，maven pom配置项为：

<project xmlns="http://maven.apache.org/POM/4.0.0"; xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"; 
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0http://maven.apache.org/xsd/maven-4.0.0.xsd";><modelVersion>4.0.0</modelVersion><groupId>com.tianliangedu.course</groupId><artifactId>TlHadoopCore</artifactId><version>0.0.1-SNAPSHOT</version>
<!-- 设置编码为 UTF-8 --><properties><project.build.sourceEncoding>UTF-8</project.build.sourceEncoding><maven.compiler.encoding>UTF-8</maven.compiler.encoding></properties><!-- 首先配置仓库的服务器位置,首选阿里云，也可以配置镜像 --><repositories><repository><id>nexus-aliyun</id><name>Nexus aliyun</name><url>http://maven.aliyun.com/nexus/content/groups/public</url></repository></repositories><dependencies><!-- 引入hadoop-cli-2.7.4依赖 --><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>2.7.4</version><scope>provided</scope></dependency><dependency><groupId>org.apache.hive</groupId><artifactId>hive-cli</artifactId><version>1.2.1</version><scope>provided</scope></dependency>         </dependencies><build><finalName>TlHadoopCore</finalName><plugins><plugin><artifactId>maven-assembly-plugin</artifactId><configuration><descriptorRefs><descriptorRef>jar-with-dependencies</descriptorRef></descriptorRefs></configuration><executions><execution><id>make-assembly</id><phase>package</phase><goals><goal>assembly</goal></goals></execution></executions></plugin><plugin><artifactId>maven-compiler-plugin</artifactId><version>2.3.2</version><configuration><source>1.7</source><target>1.7</target><encoding>UTF-8</encoding></configuration></plugin></plugins></build>
</project>

1. maven打包操作

• 上传jar包至hive操作环境中

1. 进入到自己的所操作的hive环境目录中。

​​​​​​​

     2.rz命令上传至服务器上

 

• 加载jar包、声明函数、使用函数

1. 加载jar包(输入hive进入到hive cli)

     2. 将jar包加入hive 交互中

add jar /home/hive/tianliangedu_course/04_udf/TlHadoopCore-jar-with-dependencies.jar;

 

     3.声明函数

create temporary function mask 
as 
'com.tianliangedu.hive.udf.ValueMaskUDF';

 

     4.使用函数

 

 

_____________________________________________________________________________

web开发框架的发展

        jsp+servlet+javabean

        ssh

        ssh2

        ssm

        springboot

        springcloud

历史发展的两大特性

        历史的阶段性

        阶段的必然性

分区操作属于hive操作的重量级操作

        分区在hdfs上物理结构是目录

        而目录是计算机当中最重要的物理文件的存在形式

表数据删掉的方法对比说明

        共三种,drop,delete,truncate

        联系:都可以达到删除数据的目标

        区别

                drop:是把数据和元数据全部删掉

                delete:是可以按照条件删除数据

                        只会删掉实体数据,其他数据包括元数据、状态数据不会改变

                truncate:截断数据,是指将全部数据删除掉.其对应的元数据不动,但状态数据会随之删掉.

在大数据环节当中写入数据的注意事项

        是否要求输出目录存在

        写模式,是覆盖写,还是增量写

请对比说明一下inner join,left join,right join,full join的区别联系

        联系:都是解决表合并,即表的左右合并

        区别:

                inner join :将满足查询条件的都显示出来

                left join : 保留左表的全部,以及右表的满足关系条件的记录数据,其不满足的记录军置空

                right join : 保留右表的全部,以及左表的满足关系条件的记录,其不满足的记录均置空

                full join : inner join + left join + right join