简述UDF/UDAF/UDTF是什么，各自解决问题及应用场景 - 玩转大数据 - 博客园
自定义UDF和UDTF函数的两个作用点：
1.埋点log打印日志，方便任务出现问题后进行调试
2.有一些SQL解决不了的问题，可以通过java代码实现UDFUDTF函数来辅助解决
-
UDF
-
实现步骤(Java创建自定义UDF类)
- 自定义一个java类
- 继承UDF类
- 重写evaluate方法
- 打包类所在项目成一个all-in-one的jar包并上传到hive所在机器
- 在hive中执行add jar操作，将jar加载到classpath中。
- 在hive中创建模板函数，使得后边可以使用该函数名称调用实际的udf函数
- hive sql中像调用系统函数一样使用udf函数
UDTF
实现步骤
- 自定义一个java类
- 继承UDAF类
- 内部定义一个静态类，实现UDAFEvaluator接口
- 实现方法init,iterate,terminatePartial,merge,terminate，共5个方法. 详见下图
- 在hive中执行add jar操作，将jar加载到classpath中。
- 在hive中创建模板函数，使得后边可以使用该函数名称调用实际的udf函数
-
hive sql中像调用系统函数一样使用udaf函数
