定义：

数据倾斜就是数据分布不均匀，数据大量集中在一点上，hadoop最怕的就是数据倾斜，因为这会在很大程度上拖慢reduce的处理过程，通常情况下，因为数据倾斜的原因，reduce处理的数据量相差太大，有的reduce因为处理的数据量少，会很空闲，有的处理的多，就会很忙碌，一个job工程下，就会大大拖慢整个job的进度，同时浪费资源

容易发生数据倾斜的情况：

join：
其中一个表较小，但是key集中
后果：分发给一个reduce或者多个reduce上的数据远高于平均值。
大表与大表，但是分桶的字段0值或者空值较多，
后果：reduce处理空值非常慢
group by（不和聚合函数使用时）：维度较小，某值的数量较多
后果：处理某值的reduce非常耗时
count(distinct)：
在数据量大的情况下，容易数据倾斜，因为 count(distinct)是按 group by 字段分组，按 distinct 字段排序
后果：某特殊值过多，处理耗时

处理：

产生数据倾斜的原因一般有以下几个方面：
key分布不均，数据本身的特性，建表考虑不周，某些hive语句本身就存在倾斜。

处理空值产生的数据倾斜：

赋予空值新的数值

select * from log as a left outer join user as b 
on
case when a.user_id is null then concat('hive',rand()) 
else a.user_id 
end = b.user_id

通过case when 语句把空值的 key 变成一个字符串加上一个随机数，就能把造成数据倾斜的 数据分到不同的 reduce 上解决数据倾斜的问题。使本身为 null 的所有记录不会拥挤在同一个 reduceTask 了，会由于有替代的 随机字符串值，而分散到了多个 reduceTask 中了，由于 null 值关联不上，处理后并不影响最终结果。
处理不同数据类型关联产生数据倾斜
现实中不同表的相同字段值，可能会类型不同，当我们在进行关联的时候默认的 hash 操作会按照 int 类型的 id 进 行分配，这样就会导致所有的 string 类型的 id 就被分到同一个 reducer 当中，造成数据的分布不当

把数字类型 id 转换成 string 类型的 id

select * from user a left outer join log b on b.user_id = cast(a.user_id as string)

处理大小表关联查询产生数据倾斜
常使用mapjoin处理以上产生的情况，具体mapjoin的处理原理及过程 请看[hive中Mapjoin 和Reducejoin 的区别]。(https://blog.csdn.net/qq_41704237/article/details/107295235)
说明：
以大表 a 和小表 b 为例，所有的 maptask 节点都装载小表 b 的所有数据，然后大表 a 的 一个数据块数据比如说是 a1 去跟 b 全量数据做链接，就省去了 reduce 做汇总的过程。 所以相对来说，在内存允许的条件下使用 map join 比直接使用 MapReduce 效率还高些， 当然这只限于做 join 查询的时候。

在 hive 中，直接提供了能够在 HQL 语句指定该次查询使用 map join，map join 的用法是 在查询/子查询的SELECT关键字后面添加/*+ MAPJOIN(tablelist) */提示优化器转化为map join（早期的 Hive 版本的优化器是不能自动优化 map join 的）。其中 tablelist 可以是一个 表，或以逗号连接的表的列表。tablelist 中的表将会读入内存，通常应该是将小表写在 这里。

MapJoin 具体用法：

select /* +mapjoin(movies) */ a.title, b.rating from movies a join ratings b on a.movieid =
b.movieid;

这里 /* +mapjoin(movies) */的意思就是强制规定小表为movies，并强制使用mapjoin。

如果两张都是大表，能不能使用mapjoin？
可以。
对于大表和大表，把其中一张大表切分成小表，分别mapjoin处理

select /*+mapjoin(x)*/* from log a
left outer join (select /*+mapjoin(c)*/ d.*from ( select distinct user_id from log ) c join users d on c.user_id = d.user_id
) x
on a.user_id = x.user_id;