栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Spark Streaming 使用 Delta Lake(08)

Spark Streaming 使用 Delta Lake(08)

Spark Streaming 使用 Delta Lake

前面我们已经介绍了在各种环境中使用Delta Lake,你可以参考

  1. Spark SQL Scala版 使用 Delta Lake
  2. Spark SQL Shell 版 使用Delta Lake
  3. Spark SQL SQL 版 使用 Delta Lake
  4. Spark SQL Python版 使用 Delta Lake

从前面的学习我们知道Delta Lake是完全兼容了Spark API, 而且我们希据数据湖是可以实现我们的离线计算和实时计算使用同一套存储,而不是孤立的,也就是我们希望对数据的更新是离线程序和实时程序配合使用的。

今天我们就看一下如何在Spark Streaming 中使用 Delta Lake,需要注意的是这里我们指的是 Spark Structured Streaming,然后我们就可以通过readStream和writeStream来体验Delta Lake,Delta Lake 克服了流式系统和文件相关的许多限制

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/630123.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号