栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

第三节课 hive的函数操作

第三节课 hive的函数操作

目录

Window as 使用

Hive开窗函数

窗口帧:用于从分区中选择指定的多条数据,供窗口函数处理

Hive行

转列


Window as 使用

列子:

Window w as (partition by clazz order by score desc) ;

Hive开窗函数

开窗函数一般使用和聚合函数一起

row_number:无并列排名

用法:select xxx,row_number() over(partition by 分组字段 order by 排序字段 desc) as rn from tb group by xxxx;

dense_rank:有并列排名,并且依次递增

rank:有并列排名,不依次递增

percent_rank:(rank的结果-1)/(分区内数据的个数-1)

cume_dist:计算某个窗口或分区某个值的累积分布

假定升序排序,则使用以下公式确定累积分布: 小于等于当前值x的行数 / 窗口或partition分区内的总行数。其中,x 等于 order by 子句中指定的列的当前行中的值。

NTILE(n):对分区内数据再分成n组,然后打上组号

max、min、avg、count、sum:基于每个partition分区内的数据做对应的计算

窗口帧:用于从分区中选择指定的多条数据,供窗口函数处理

ROWS和RANGE两种模式,都需要配置上界和下界

ROWS BETWEEN UNDOUNDED PRECEDING AND CURRENT ROW

表示选择分区起始记录到当前记录的所有行;

如果没有定义窗口帧

RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW

(ROWS | RANGE) BETWEEN (UNBOUNDED | [num]) PRECEDING AND ([num] PRECEDING | CURRENT ROW | (UNBOUNDED | [num]) FOLLOWING)

(ROWS | RANGE) BETWEEN CURRENT ROW AND (CURRENT ROW | (UNBOUNDED | [num]) FOLLOWING)

(ROWS | RANGE) BETWEEN [num] FOLLOWING AND (UNBOUNDED | [num]) FOLLOWING

range between 3 PRECEDING and 11 FOLLOWING

Hive行

转列

select name,s from student lateral view explode(weight) s1 as s;

select key from (select explode(map('key1',1,'key2',2,'key3',3)) as (key,value)) t;

key1

key2

key3

Hive列转行

select name,collect_list(weight) from students group by name;

Hive自定义函数

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/618568.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号