一、hive分区

     分区操作属于hive操作的重量级操作

     分区在hdfs上物理结构是目录

     非严格模式：no~

表数据删除方法对比说明：

   drop，delete，truncate

    联系：都可以达到删除数据的目标。

    区别：Drop：把数据和元数据全删除；

               delete：按照条件删除数据；（只会删除实体数据）

              Truncate：截断数据，元数据不动，状态数据会删掉。

             

大数据环节中写入：

  1.是否要求输出目录存在；

  2.写模式，是覆盖写，还是增量写

二、DQL

1，各种join使用，Union

• inner join

将左表和右表满足联接条件的数据，全部查询出来

• left outer join

以左表为主，将左表数据全部保留，右表没有关联上数据字段置成NULL

• right outer join  同理

• full outer join
  • 没有关联上数据字段全部置成NULL
  • full join=inner join+left join+right join
• union [all]

• 将所有表数据，完全叠加在一起，不去重。（没有all则为去重）

  要求：所有表的字段和类型完全一致。

• 注意hive中子查询必学给与别名

2，内置函数（系统函数）

使用help解决一个函数不知道怎么用的问题：

desc function{方法}

          常用函数：

                   count：行数

                   IF( Test Condition, True Value, False Value ) ：判断

                  COALESCE( value1,value2,... )返回函数第一个不为空的值：        

                   case...when   ：判断

                   split：将字符串拆分成数组。

                   explode：表成生成函数

                   lateral view：与explode连用制表

三、自定义函数

        1.UDF(user defined function)

         2.流程

1. 自定义一个java类
2. 继承UDF类
3. 约定俗成的重写evaluate方法
4. 打包类所在项目成一个all-in-one的jar包并上传到hive所在机器（hdfs dfs -put）
5. 在hive中执行add jar操作，将jar加载到classpath中。（add jar /路径）
6. 在hive中创建模板函数，使得后边可以使用该函数名称调用实际的udf函数（

   create temporary function 方法名 as 方法类路径）

7. hive sql中像调用系统函数一样使用udf函数

      3.加入maven配置：

       

<project xmlns="http://maven.apache.org/POM/4.0.0"; xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"; 
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0http://maven.apache.org/xsd/maven-4.0.0.xsd";><modelVersion>4.0.0</modelVersion><groupId>com.tianliangedu.course</groupId><artifactId>TlHadoopCore</artifactId><version>0.0.1-SNAPSHOT</version>
<!-- 设置编码为 UTF-8 --><properties><project.build.sourceEncoding>UTF-8</project.build.sourceEncoding><maven.compiler.encoding>UTF-8</maven.compiler.encoding></properties><!-- 首先配置仓库的服务器位置,首选阿里云，也可以配置镜像 --><repositories><repository><id>nexus-aliyun</id><name>Nexus aliyun</name><url>http://maven.aliyun.com/nexus/content/groups/public</url></repository></repositories><dependencies><!-- 引入hadoop-cli-2.7.4依赖 --><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>2.7.4</version><scope>provided</scope></dependency><dependency><groupId>org.apache.hive</groupId><artifactId>hive-cli</artifactId><version>1.2.1</version><scope>provided</scope></dependency>         </dependencies><build><finalName>TlHadoopCore</finalName><plugins><plugin><artifactId>maven-assembly-plugin</artifactId><configuration><descriptorRefs><descriptorRef>jar-with-dependencies</descriptorRef></descriptorRefs></configuration><executions><execution><id>make-assembly</id><phase>package</phase><goals><goal>assembly</goal></goals></execution></executions></plugin><plugin><artifactId>maven-compiler-plugin</artifactId><version>2.3.2</version><configuration><source>1.7</source><target>1.7</target><encoding>UTF-8</encoding></configuration></plugin></plugins></build>
</project>