栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hive下进行查询自定义函数的方法

hive下进行查询自定义函数的方法

在hive中,经常需要查询自定义的以及系统的函数使用方法,一般情况下在hive中使用下面三个命令即可:

1.查看所有的函数:

show functions;

2. 查看date相关的函数:(模糊查询)

show functions like 函数名 

示例:show functions like '*date*' (模糊查询)

3.粗粒度查看函数的使用方法:

desc function 函数名

示例:desc function round;

4. 细粒度查看函数使用方法:

desc function extended 函数名

示例:desc function extended round;

二. 进行上传自定义函数

  1. 编码完成后,在pom.xml所在目录执行命令mvn clean package -U;

  2. 在target目录得到文件hiveudf-1.0-SNAPSHOT.jar

  3. 将jar下载到hive服务器,我这里放在此目录:/hadoop/udf/

  4. 在hive会话模式执行以下命令添加本地jar:

    add jar /home/hadoop/udf/hiveudf-1.0-SNAPSHOT.jar;
  5. 部署临时函数:

    create temporary function udf_wordsplitsinglerow as 'com.bolingcavalry.hiveudf.udtf.WordSplitSingleRow';
  6. 进行更新验证函数

    需要进行清除之前的临时函数:

    drop temporary function if exists udf_wordsplitsinglerow;
    delete jar /home/hadoop/udf/hiveudf-1.0-SNAPSHOT.jar;

  7. 自定义UDF永久函数上传

    1.将JAR包上传至 

    hdfs ​ hadoop fs -put crcUDF.jar /tmp/chenhan/ ​

    2.创建永久函数 ​

    create function crc32 as 'hive_udf.testudf.Crc32' using jar 'hdfs:///tmp/chenhan/crcUDF.jar'; 

      生成的crc32 被放在默认的default项目下, ​

    使用时 select default.crc32(device_id) from .....

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/677091.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号