栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

SparkContext,JavaSparkContext,SQLContext和SparkSession之间的区别?

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

SparkContext,JavaSparkContext,SQLContext和SparkSession之间的区别?

sparkContext
是Scala实现的入口点,
JavaSparkContext
是的Java包装器
sparkContext

SQLContext
是SparkSQL的入口点,可以从
sparkContext
2.xx 接收.RDD,Dataframe和Data-
set是三个不同的数据抽象。自Spark 2.xx起,所有三个数据抽象是统一的,
SparkSession
是Spark的统一入口点。

另外需要注意的是,RDD用于非结构化数据,强类型数据,而Dataframes用于结构化和松散类型数据。你可以检查

是否有任何方法可以使用Sparksession转换或创建Context?

是。它

sparkSession.sparkContext()
和SQL,
sparkSession.sqlContext()

我可以使用一个条目SparkSession完全替换所有Context吗?

是。您可以从sparkSession获取相应的顶点。

是否在SparkSession中添加了SQLContext,SparkContext,JavaSparkContext等中的所有功能?

不直接。您需要获取各自的上下文并加以利用。

如何在SparkSession中使用这样的功能?

获取各自的上下文并加以利用。

如何使用SparkSession创建以下内容?

  1. 可以从创建RDD
    sparkSession.sparkContext.parallelize(???)
  2. JavaRDD同样适用于此,但在Java实现中
  3. Java对RDD
    sparkSession.sparkContext.parallelize(???).map(//making your data as key-value pair here is one way)
  4. 如果是结构化数据,sparkSession返回的数据集就是数据集。


转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/495883.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号