栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

关于数据湖 数据仓库和湖仓一体

关于数据湖 数据仓库和湖仓一体

1、数据仓库:传统的数仓ETL建模和分析处理
2、数据湖:基于原始的半结构化、非结构化数据,使用分布式的计算任务进行分析和处理,不是基于良好建模的数仓,强调数据的动态模型、原始的数据
3、湖仓一体:数据就是一份,底层是企业的全部数据,包括结构化、半结构化、非结构化,中间通过统一的加工处理直接支撑上层所有仓的应用(BI、报表以及湖的应用),不再需要ETL连通(原来是存储2份数据,1份是原始的,1份是ETL之后的),数据能够直接用来进行分析。

4、胡仓一体技术实现方案:
1》Snowflake(分布式并行计算)云原生特性、计算存储分离架构、强事务特性、完整SQL标准支持、高性能并行执行能力。
2》Delta Lake(Databricks公司,在hdfs上面添加ACID的支持),可以选择开源的hudi---实现了ACID的语义,增强了湖的能力。hive定位是olap,更新和插入慢,hudi用spark的任务,实现了upsert和事务,是hive的增强。

5、技术选型:hdfs spark hudi

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/735204.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号