栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Spark综合学习笔记(十八)SparkSQL数据抽象

Spark综合学习笔记(十八)SparkSQL数据抽象

学习致谢

https://www.bilibili.com/video/BV1Xz4y1m7cv?p=53

引言

SparkCore的数据抽象:RDD
SparkStreaming的数据抽象:DStream,底层是RDD
SparkSQL的数据抽象:Dataframe和DataSet,底层是RDD

Dataframe是什么

Dataframe=RDD-泛型+Schema约束(指定了字段名和类型)+SQL操作+优化
Dataframe就是在RDD的基础之上做了进一步的封装,支持SQL操作!
Dataframe就是一个分布式表!

DataSet是什么

DataSet=Dataframe+泛型
DataSet = RDD + Schema约束(指定了字段名和类型)+SQL操作+优化
DataSet就是在RDD的基础之上做了进一步的封装,支持SQL操作!
DataSet就是一个分布式表!

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/604647.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号