栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

ApacheHudi

ApacheHudi

一、Hudi介绍 1.1 Hudi的定义:

        Apache Hudi是一种开源的数据湖表格式框架。Hudi基于对象存储或者Hdfs组织文件布局,保证ACID,支持行级别的高效更新和删除,从而降低数据ETL开发门槛。同时该框架支持自动管理及合并小文件,保持指定的文件大小,从而在处理数据插入和更新时,不会创建过多的小文件,引发查询端性能降低,避免手动监控和重写小文件的运维负担。结合Flink、Presto、Spark等计算引擎进行数据入湖和计算分析,常用来支持DB入湖加速、增量数据实时消费和数仓回填等需求。

1.2 Hudi特性

支持ACID:支持ACID语义,提供事务的线性隔离级别。

  • 支持UPSERT语义:UPSERT语义即就是INSERT和UPDATE两种语义的合并。在UPSERT语义时,如果记录不存在则插入;如果记录存在则更新。通过INSERT INTO语法可以大幅简化开发代码的复杂度,提升效率。
  • 支持Data Version:通过时间旅行(Time Travel)特性,提供任意时间点的数据版本历史,便于数据运维,提升数据质量。
  • 支持Schema Evolution:支持动态增加列,类型变更等Schema操作。 二、概要 2.1 TimeLine

            Hudi 的核心是维护timeline在不同时间对表执行的所有操作,instants这有助于提供表的即时视图,同时还有效地支持按到达顺序检索数据。Hudi Instant 由以下组件组成

    Instant action:在表上执行的操作类型Instant time:即时时间通常是一个时间戳(例如:20190117010349),它按照动作                                    (action)开始时间的顺序单调递增。state: 时刻(事件)的当前状态

    Hudi 保证在时间轴上执行的动作是原子的并且基于即时时间的时间轴是一致的。

    action的主要操作包括:

    commits:表示将一批记录原子写入表中。cleans:清除表中不再需要的旧版本文件的后台活动。

  • 转载请注明:文章转载自 www.mshxw.com
    本文地址:https://www.mshxw.com/it/757896.html
    我们一直用心在做
    关于我们 文章归档 网站地图 联系我们

    版权所有 (c)2021-2022 MSHXW.COM

    ICP备案号:晋ICP备2021003244-6号