栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

是否写过udf,问udaf,udtf区别和一些细节?

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

是否写过udf,问udaf,udtf区别和一些细节?

参考回答:

udf:user defined function

特点:input:output=1:1

实例函数:md5,split,ltrim

应用场景:1:1的情况,比如md5...

实现方法:简单udf实现

extends UDF

方法名 evaluate

udaf:user defined aggregation function

特点: input:output=n:1

示例函数:sum,count,max,min......

实现方法:extends UDAF,内部静态类实现接口UDAFevaluator

五大方法:init:初始化map或是reduce需用到的变量

iterate:迭代处理每条数据,true

terminatePartial:相当于mr的combiner

merge:其输入一定是terminatePartial的输出

terminate:处理的是merge的结果

udtf:user defined table function

特点:input:output=1:n

示例函数:explode

实现方法:udf+explode

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/364015.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号