自定义一个java类
继承UDF类
约定俗成的重写evaluate方法
打包类所在项目成一个all-in-one的jar包并上传到hive所在机器
在hive中执行add jar操作，将jar加载到classpath中。
在hive中创建模板函数，使得后边可以使用该函数名称调用实际的udf函数
hive sql中像调用系统函数一样使用udf函数
1.rz -bye 2.hdfs dfs -put 3.add jar hdfs:/// 4.create temporary function name as ‘com.tl.job019…’
5.select name(‘123456’,2,’***’);
- in:out=n:1,即输入N条数据，返回一条处理结果，即列转行。
- 最常见的系统聚合函数，如count,sum,avg,max等
自定义一个java类
继承UDAF类
内部定义一个静态类，实现UDAFevaluator接口
实现方法init,iterate,terminatePartial,merge,terminate共5个方法.
• 解决一行输入多行输出，即1:n，即行转列应用
• 往往被lateral view explode+udf等替代实现，比直接用udtf会更简单、直接、更灵活一些
mapjoin
由原来reduce端，改成由纯map端进行关联查找
减少了reduce的处理，减少了数据移动，提升了IO和计算效率
hive已经默认开启
应用场景：大数据块join小数据块的时候
数据倾斜
假倾斜：实际数据并没有倾斜，而是由于人为代码原因导致的倾斜
真倾斜：
极少数VIP帐号对应数据量极多，而正常帐号较少。分而治之，将倾斜的数据分类
硬件配置不均衡导致的计算能力倾斜问题。
创建hive_shell
#!/bin/sh
db=“job017”
table_name="practice_set "
hive -e "
use $db;
set tez.queue.name=oncourse;
select count(1) from $table_name;
"
执行
sh hive_shell.sh
