栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

Hive中的窗口功能

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Hive中的窗口功能

RANK()
分析函数为数据集中每个分区的每一行分配一个等级。

PARTITION BY
子句确定行的分布方式(如果是配置单元,则在缩减程序之间)。

ORDER BY
确定行在分区中的排序方式。

第一阶段由分配 ,数据集中的所有行均分配到分区中。在map-reduce中,每个映射器都根据来对行进行分组,

partitionby
并为每个分区生成文件。Mapper根据进行分区部分的初始排序
order by

第二阶段 ,所有行都在每个分区内排序。在map-
reduce中,每个化简器获取由映射器生成的分区文件(分区的一部分),并根据来对整个分区中的行进行排序(部分结果的排序)

order by

第三 ,等级函数将等级分配给分区中的每一行。正在为每个分区初始化Rank函数。

对于分区中的第一行,排名从1开始。对于每个下一行

Rank=previous rowrank+1
。给定相同等级的具有相等值(按顺序指定)的行,如果两行共享相同的等级,则下一个行等级不是连续的。

可以在不同的reducer上并行处理不同的分区。小型分区可以在相同的reducer上进行处理。秩函数在跨越分区边界时会重新初始化,并以每个分区的rank =
1开头。

示例(行已在分区内进行了分区和排序):

SELECt a, RANK() OVER(partition by b order by c) as d from xyz;a, b, c, d(rank)----------------1  1  1  1 --starts with 12  1  1  1 --the same c value, the same rank=13  1  2  3 --rank 2 is skipped because second row shares the same rank as first4  2  3  1 --New partition starts with 15  2  4  26  2  5  3

如果需要连续的等级,请使用

dense_rank
功能。
dense_rank
将为上述数据集中的第三行产生rank = 2。

row_number
函数将为分区中从1开始的每一行分配位置编号。具有相等值的行将收到不同的连续编号。

SELECt a, ROW_NUMBER() OVER(partition by b order by c) as d from xyz;a, b, c, d(row_number)----------------1  1  1  1 --starts with 12  1  1  2 --the same c value, row number=23  1  2  3 --row position=34  2  3  1 --New partition starts with 15  2  4  26  2  5  3

重要说明:
对于具有相同值

row_number
或其他此类分析函数的行,可能具有不确定的行为,并且每次运行都会产生不同的数字。在上述数据集的第一行可以接收数字2和第二行可接收数字1,反之亦然,因为它们的顺序不被确定,除非你会增加一个列
一个
order by
条款。在这种情况下,每次运行时所有行将始终具有相同的row_number,它们的顺序值是不同的。



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/398485.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号