栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

DataFrame到RDD [(String,String)]转换

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

DataFrame到RDD [(String,String)]转换

如果要将行映射到其他RDD元素,可以使用df.map(row => …)将数据帧转换为RDD。

例如:

val df = Seq(("table1",432),      ("table2",567),      ("table3",987),      ("table1",789)).      toDF("tablename", "Code").toDF()    df.show()    +---------+----+|tablename|Code|+---------+----+|   table1| 432||   table2| 567||   table3| 987||   table1| 789|+---------+----+    val rddDf = df.map(r => (r(0), r(1))).rdd // Type:RDD[(Any,Any)]    OR    val rdd = df.map(r => (r(0).toString, r(1).toString)).rdd  //Type: RDD[(String,String)]

有关 AnalysisException,
请参阅https://community.hortonworks.com/questions/106500/error-in-spark-
streaming-kafka-integration-structu.html
:必须使用writeStream.start()执行带有流源的查询

您需要等待使用查询终止查询。 awaitTermination() 防止查询活动时退出进程。



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/401366.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号