栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

如何选择最后一行以及如何按索引访问PySpark数据帧?

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

如何选择最后一行以及如何按索引访问PySpark数据帧?

如何获得最后一行。

假设所有列都可修改的漫长而丑陋的方式:

from pyspark.sql.functions import (    col, max as max_, struct, monotonically_increasing_id)last_row = (df    .withColumn("_id", monotonically_increasing_id())    .select(max(struct("_id", *df.columns))    .alias("tmp")).select(col("tmp.*"))    .drop("_id"))

如果不是所有列都可以订购,则可以尝试:

with_id = df.withColumn("_id", monotonically_increasing_id())i = with_id.select(max_("_id")).first()[0]with_id.where(col("_id") == i).drop("_id")

注意。/

oassql.functions中有
last
函数,
pyspark.sql.functions`但考虑到对相应表达式的描述,此处不是一个好的选择。

我如何通过index.like访问数据框行



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/641604.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号