栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 云计算 > 云平台

数据仓库、数据湖、湖仓一体化技术简单自我总结

云平台 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

数据仓库、数据湖、湖仓一体化技术简单自我总结

数据仓库、数据湖、湖仓一体化技术简单自我总结

参考:https://www.aliyun.com/activity/bigdata/maxcompute-lakehouse

1. 数据仓库
  • 为了进行OLAP,把分布在各个散落独立的数据库孤岛整合在了一个数据结构里面,称之为数据仓库
  • 数据仓库是一个功能概念,是将企业的各业务系统产生的基础数据,通过维度建模的方式,将业务数据划分为多个主题(集市)统一存储,统一管理。主要存储结构化数据。
  • 应用场景:一般都是作为商业智能系统、数据仪表盘等可视化报表服务的数据源。
2. 数据集市
  • 数据集市是一个结构概念,它是企业级数据仓库的一个子集,主要面向部门级业务,并且只面向某个特定的主题。

  • 应用场景:数据集市是数仓之上更聚焦的业务主题合集,更偏向于应对业务数据快速高效应用的需求,一般用于商业智能系统中探索式和交互式数据分析应用

3.数据湖
  • 数据湖是一种数据存储理念,存储企业各种各样的原始数据的大型仓库,包括结构化、非结构、二进制图像、音频、视频等等。各种各样的原生数据,包括非结构化、结构化数据。
  • 应用场景:以大数据技术为基础有多样化数据结构海量大数据存储需求,也可作为数据仓库或者数据集市的数据源。
4. 数据中台
  • 数据中台是指通过企业内外部多源异构的数据采集、治理、建模、分析,应用,使数据对内优化管理提高业务,对外可以数据合作价值释放,成为企业数据资产管理中枢。数据中台建立后,会形成数据API,为企业和客户提供高效各种数据服务。
  • 数据中台是一个逻辑概念,为业务提供服务的主要方式是数据API,它包括了数据仓库,大数据、数据治理领域的内容。
  • 应用场景:是将数据服务化提供给业务系统,目的是将数据能力渗透到业务各个环节,不限于决策分析。
5. 数据库
  • 数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织的、有共享的、统一管理的数据集合
6. 数据平台
  • 数据平台是在大数据基础上出现的融合了结构化和非结构化数据的数据基础平台,为业务提供服务的方式主要是直接提供数据集。
7. 1-6总结
  1. 数据仓库是通过ETL技术把原始数据进一步加工处理,提高数据数据质量,统一数据标准,然后把数据再进行分类,就是主题的维度建模过程,将数据统一存储与管理,为了满足决策分析型需求。

  2. 数据湖就好比一个大型仓库,什么格式的数据都存储,但只存原始数据。

  3. 数据中台是将经过数据治理的数据仓库或大数据平台中的数据,通过接口的方式直接服务于应用系统。

8.数据仓库和数据湖对比
数据仓库数据湖
数据体系数据体系严格,提前建模数据体系松散,事后建模
灵活度灵活性较低灵活性较高
数据治理数据治理容易数据治理困难
数据种类数据种类单一(结构化、半结构化数据种类丰富(结构化、半结构化、非结构化)
面向对象面向成熟数据的企业级分析与处理面向异构数据的科学探查与价值挖掘
开放程度向特定引擎开放,易获得高度优化向所有引擎开放,各引擎有限优化
9. MaxCompute 湖仓一体方案特性

​ MaxCompute湖仓一体方案打破数据湖与数据仓库割裂的体系,架构上将数据湖的灵活性、生态丰富与数据仓库的企业级能力进行融合,构建数据湖和数据仓库融合的数据管理平台。

特性如下:

  • 企业级高性能数据仓库,通过云原生大数据服务以更低成本满足业务高弹性和敏捷性需求。

  • 与数据湖(OSS、EMR-HDFS)联动,无需数据搬迁即可无缝处理和分析数据湖数据。

  • 通过DataWorks开发平台,提供统一的数据开发、数据管理和数据治理。

10. MaxCompute湖仓一体技术架构

11. MaxCompute湖仓一体关键技术
  1. 快速接入
    • 全新自创PrivateAccess网络连通术,可连接IDC Hadoop、云上ECS自建Hadoop以及EMR Hadoop集群。
    • 经过快速简单的开通步骤即可和购买的 MaxCompute 数仓相连通。
  2. 统一数据/元数据管理
    • 既支持hadoop开源数据湖,也支持oss数据湖。
    • 数据湖中的元数据DB直接映射为 MaxCompute Project,享受数仓配套工具链。
  3. 统一开发体验
    • 基于DataWorks强大的数据开发/管理/治理能力,提供统一的湖仓开发体验,降低两套系统的管理成本。
    • MaxCompute高度兼容Hive/Spark,支持一套任务可以在湖仓两套体系中灵活无缝的运行。
    • MaxCompute提供高效的数据通道接口,可以让数据湖中的Hadoop生态引擎直接访问,提升了进仓数据的开放性。
  4. 自动数仓
    • 极大降低数据迁移和作业迁移的难度。在统一管理框架下,用户可根据自身资产使用情况构建混合计算架构,通过自动数仓合理的数据分层,不仅享受数据湖带来的灵活性也享受了MaxCompute 带来的企业级数仓能力。
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/896121.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号