栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

Spark RDD到DataFrame python

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Spark RDD到DataFrame python

看到,

在Spark中有两种将RDD转换为DF的方法。

toDF()
createDataframe(rdd, schema)

我将向您展示如何动态地做到这一点。

toDF()

toDF()
命令为您提供了将转换
RDD[Row]
为数据框的方法。关键是,对象
Row()
可以接收
**kwargs
参数。因此,有一种简单的方法可以做到这一点。

from pyspark.sql.types import Row#here you are going to create a functiondef f(x):    d = {}    for i in range(len(x)):        d[str(i)] = x[i]    return d#Now populate thatdf = rdd.map(lambda x: Row(**f(x))).toDF()

这样,您将能够动态创建数据框。

createDataframe(rdd,模式)

完成此操作的另一种方法是创建动态模式。怎么样?

这条路:

from pyspark.sql.types import StructTypefrom pyspark.sql.types import StructFieldfrom pyspark.sql.types import StringTypeschema = StructType([StructField(str(i), StringType(), True) for i in range(32)])df = sqlContext.createDataframe(rdd, schema)

第二种方法更清洁…

这样便可以动态创建数据框。



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/637585.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号