栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

在Apache Spark中使用pyspark进行数据帧转置

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

在Apache Spark中使用pyspark进行数据帧转置

如果数据足够小以至于可以转置(不以聚合为中心),则可以将其转换为Pandas

Dataframe

df = sc.parallelize([    ("f1", 0.0, 0.6, 0.5),    ("f2", 0.6, 0.7, 0.9)]).toDF(["s", "col_1", "col_2", "col_3"])df.toPandas().set_index("s").transpose()s       f1   f2col_1  0.0  0.6col_2  0.6  0.7col_3  0.5  0.9

如果太大,Spark将无济于事。Spark

Dataframe
按行分配数据(尽管本地使用列式存储),因此单个行的大小限于本地内存。



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/660116.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号