Hive之MapJoin,数据倾斜,二次排序
一.MapJoin
- 概念
- join本来是reduce进行关联查找,改成了map端进行关联查找
- 特点
- 减少了reduce的压力
- 减少了数据移动,提高了IO效率
- 应用场景
- 代码实现
二.数据倾斜
- 概念
- 在大数据处理的过程中,出现数据分配不均匀,导致整体任务完成缓慢的现象
- 特点
- 分布式任务中,大部分任务均已完成,只有少部分卡在99%.
- 类似**木桶原理,**任务完成是时间取决于最后一个任务的完成时间
- 场景
- 假倾斜(数据本身没有倾斜)
- 由于个人代码的原因,sql编写不合理
- 数据格式设置不对(gzip snappy等不可分割的数据格式)
- 真倾斜(数据本身客观倾斜)
- vip账号倒卖导致数据倾斜
- 解决方法
- 只能分而治之，将倾斜的数据分类，将正常数据分类，然后进行分别计算。
- 机器硬件不一致
三.二次排序
- 概念
- 特点
- 2个字段排序，第1个字段若有比较结果则按第1个字段排序，若相等，则按第2个字段升序排列。
- 场景
- 代码实现
- Hadoopcore之mapreduce实现
- 重写Map和Reduce之前的输入输出的Key和Value
- HiveSQL实现
- Select * from table order by c1,c2 asc
