栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Spark SQL Shell 版 使用Delta Lake(05)

Spark SQL Shell 版 使用Delta Lake(05)

Spark SQL Shell 版 使用Delta Lake

读者交流群已经开通了,有需要的可以私信进入读者交流群

前面我们学了项目工程中使用Delta Lake,但是很多时候我们在学习和实验阶段,都喜欢使用Spark shell ,所以这一节我们介绍一下如何在Spark shell 中使用Delta Lake。

开始之前,我们还是强调一下版本的问题,虽然我们上次我们说过了半本的问题,但是还是有人来问,下面是版本的兼容性问题。

Delta Lake version Apache Spark version
1.0.x 3.1.x
0.7.x and 0.8.x 3.0.x
Below 0.7.0 2.4.2 - 2.4.

我们知道spark shell 有python 版本的和scala 版本的,这里我们只使用一下scala版本的就可以 我们的启动启动命令如下

spark-shell --packages io.delta:delta-core_2.12:1.0.0

或者

spark-shell --packages io.delta:delta-core_2.12:1.0.0 --conf "spark.sql.extensions=io.delta.sql.DeltaSparkSessionExt
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/612515.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号