栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hive和Spark到底是什么?两者又有什么区别?

Hive和Spark到底是什么?两者又有什么区别?

spark是一个计算引擎,而hive是一个存储框架。

大白话来讲,他们之间的关系就像发动机组与加油站之间的关系。

但若说模糊一点,其实hive既是存储框架也可以算是计算引擎。

你也可以这么理解:

HDFS上的数据其实都是文件,没有良好的组织形式。

Hive将这些数据规整起来,让用户可以以结构化数据库的角度去使用这些数据(建立了HDFS数据的元数据信息),在Hive上写HQL操作表翻译成了MapReduce去读HDFS的数据进行计算。

而Spark只是一个计算引擎,不是存储引擎,其本身并不负责数据存储。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/733991.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号