栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

sqlserver行转列pivot(pyspark.sql之利用pivot实现行转列)

sqlserver行转列pivot(pyspark.sql之利用pivot实现行转列)

简述

使用pivot函数进行透视,透视过程中可以提供第二个参数来明确指定使用哪些数据项
注意:pivot只能跟在groupby之后

示例

有如下数据

df = spark.createDataframe([("李明","语文",82),("李明","数学",90),("李明","英语",75)
                           ,("陈凯","语文",71),("陈凯","数学",83),("陈凯","英语",66)
                           ,("王莉","语文",85),("王莉","数学",80),("王莉","英语",81)]
                           ,["name","subject","score"])
df.show()

+----+-------+-----+
|name|subject|score|
+----+-------+-----+
|李明|   语文|   82|
|李明|   数学|   90|
|李明|   英语|   75|
|陈凯|   语文|   71|
|陈凯|   数学|   83|
|陈凯|   英语|   66|
|王莉|   语文|   85|
|王莉|   数学|   80|
|王莉|   英语|   81|
+----+-------+-----+

利用pivot实现行转列
pivot的第一个参数指定原数据列,第二个参数指定要新生成的数据列

from pyspark.sql import functions as F
df.groupby("name").pivot("subject",["语文","数学","英语"]).agg(F.sum("score")).show()

+----+----+----+----+
|name|语文|数学|英语|
+----+----+----+----+
|王莉|  85|  80|  81|
|陈凯|  71|  83|  66|
|李明|  82|  90|  75|
+----+----+----+----+
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/771847.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号