栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

关于UDF

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

关于UDF

UDF:一进一出 1、创建maven项目,导入依赖
        
            org.apache.hive
            hive-exec
            1.2.1
        

打包的时候可能会出现错误:

Could not transfer artifact org.pentaho:pentaho-aggdesigner-algorithm:pom:5.1.5-jhyde

解决方案: 在maven下的setting.xml文件中加入下面的镜像配置内容 ​​​​​​


	alimaven
	aliyun maven 
	http://maven.aliyun.com/nexus/content/groups/public/
	central
 
   
 
	aliyunmaven
	*
	spring-plugin
	https://maven.aliyun.com/repository/spring-plugin
2、 编写代码

编写代码,继承org.apache.hadoop.hive.ql.exec.UDF,实现evaluate方法,在evaluate方法中实现自己的逻辑  

package com.shujia;

import org.apache.hadoop.hive.ql.exec.UDF;

import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date;

public class MyUDF extends UDF {
    public String evaluate(String col1) {
        //2022/6/8-->2022-6-8
        String[] split = col1.split("/");
        String s = split[0] + "-" + split[1] + "-" + split[2];
        return s;
    }
}
3、打成jar包,上传Linux

4、在hive shell中,将jar包作为资源添加到hive环境中  

add jar /usr/local/soft/jar/hadoop-hive-1.0-SNAPSHOT.jar;

使用jar包资源注册一个临时函数,fxxx1是你的函数名,'MyUDF'是主类名

create temporary function fxxx1 as 'MyUDF';

create temporary function date_change as 'com.shujia.MyUDF';

 测试:

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/959422.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号