栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

通过Spark组查找时间戳的最小值

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

通过Spark组查找时间戳的最小值

只需直接执行聚合,而不使用

min
辅助程序即可:

import org.apache.spark.sql.functions.minval sqlContext: SQLContext = ???import sqlContext.implicits._val df = Seq((1L, "2016-04-05 15:10:00"), (1L, "2014-01-01 15:10:00"))  .toDF("id", "ts")  .withColumn("ts", $"ts".cast("timestamp"))df.groupBy($"id").agg(min($"ts")).show// +---+--------------------+// | id|  min(ts)|// +---+--------------------+// |  1|2014-01-01 15:10:...|// +---+--------------------+

min
与之不同的是,它将适用于任何
Orderable
类型。



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/634849.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号