栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hive学习笔记之九:基础UDF,java入门书籍下载

hive学习笔记之九:基础UDF,java入门书籍下载

  • 本文是《hive学习笔记》的第九篇,前面学习的内置函数尽管已经很丰富,但未必能满足各种场景下的个性化需求,此时可以开发用户自定义函数(User Defined Function,UDF),按照个性化需求自行扩展;

  • 本篇内容就是开发一个UDF,名为udf_upper,功能是将字符串字段转为全大写,然后在hive中使用这个UDF,效果如下图红框所示:

  • 本篇有以下章节:
  1. 开发

  2. 部署和验证(临时函数)

  3. 部署和验证(永久函数)

[](

)源码下载

  1. 如果您不想编码,可以在GitHub下载所有源码,地址和链接信息如下表所示:

| 名称 | 链接 | 备注 |

| :-- | :-- | :-- |

| 项目主页 | https://github.com/zq2599/blog_demos | 该项目在GitHub上的主页 |

| git仓库地址(https) | https://github.com/zq2599/blog_demos.git | 该项目源码的仓库地址,https协议 |

| git仓库地址(ssh) | git@github.com:zq2599/blog_demos.git | 该项目源码的仓库地址,ssh协议 |

  1. 这个git项目中有多个文件夹,本章的应用在hiveudf文件夹下,如下图红框所示:

[](

)开发

  1. 新建名为hiveudf的maven工程,pom.xml内容如下,有两处需要关注的地方,接下来马上讲到:

xmlns:xsi=“http://www.w3.org/2001/XMLSchema-instance”

xsi:schemaLocation=“http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd”>

4.0.0

com.bolingcavalry

hiveudf

1.0-SNAPSHOT

org.apache.hive

hive-exec

1.2.2

provided

org.pentaho

pentaho-aggdesigner-algorithm

<

【一线大厂Java面试题解析+核心总结学习笔记+最新架构讲解视频+实战项目源码讲义】

浏览器打开:qq.cn.hn/FTf 免费领取

/exclusion>

org.apache.hadoop

hadoop-common

2.7.7

provided

  1. 上述pom.xml中,两个依赖的scope为provided,因为这个maven工程最终只需要将咱们写的java文件构建成jar,所以依赖的库都不需要;

  2. 上述pom.xml中排除了pentaho-aggdesigner-algorithm,是因为从maven仓库下载不到这个库,为了能快速编译我的java代码,这种排除的方式是最简单的,毕竟我用不上(另一种方法是手动下载此jar,再用maven install命令部署在本地);

  3. 创建Upper.java,代码如下非常简单,只需存在名为evaluate的public方法即可:

package com.bolingcavalry.hiveudf.udf;

import org.apache.commons.lang.StringUtils;

import org.apache.hadoop.hive.ql.exec.UDF;

public class Upper extends UDF {

public String evaluate(String str) {

return StringUtils.isBlank(str) ? str : str.toUpperCase();

}

}

  1. 编码已完成,执行mvn clean package -U编译构建,在target目录下得到hiveudf-1.0-SNAPSHOT.jar文件;

  2. 接下来将咱们做好的UDF部署在hive,验证功能是否正常;

[](

)部署和验证(临时函数)

  1. 如果希望UDF只在本次hive会话中生效,可以部署为临时函数,下面是具体的步骤;

  2. 将刚才创建的hiveudf-1.0-SNAPSHOT.jar文件下载到hive服务器,我这边路径是/home/hadoop/udf/hiveudf-1.0-SNAPSHOT.jar;

  3. 开启hive会话,执行以下命令添加jar:

add jar /home/hadoop/udf/hiveudf-1.0-SNAPSHOT.jar;

  1. 执行以下命令创建名为udf_upper的临时函数:

create temporary function udf_upper as ‘com.bolingcavalry.hiveudf.udf.Upper’;

  1. 找一个有数据并且有string字段的表(我这是student表,其name字段是string类型),执行以下命令:

select name, udf_upper(name) from student;

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/423281.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号