栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

创建Spark DataFrame。无法推断类型的架构:

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

创建Spark DataFrame。无法推断类型的架构:

SparkSession.createDataframe
,这是发动机罩下使用的,需要一个
RDD
/
list
Row
/
tuple
/
list
/
dict
*或者
pandas.Dataframe
,除非用模式
DataType
设置。尝试将float转换为元组,如下所示:

myFloatRdd.map(lambda x: (x, )).toDF()

甚至更好:

from pyspark.sql import Rowrow = Row("val") # Or some other column namemyFloatRdd.map(row).toDF()

要从

Dataframe
标量列表创建一个,您必须
SparkSession.createDataframe
直接使用并提供一个模式***:

from pyspark.sql.types import FloatTypedf = spark.createDataframe([1.0, 2.0, 3.0], FloatType())df.show()## +-----+## |value|## +-----+## |  1.0|## |  2.0|## |  3.0|## +-----+

但对于一个简单的范围,最好使用

SparkSession.range

from pyspark.sql.functions import colspark.range(1, 4).select(col("id").cast("double"))

*不再受支持。

** Spark SQL还为Python对象公开的模式推断提供了有限的支持

__dict__

***仅在Spark 2.0或更高版本中受支持。



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/611586.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号