栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

大数据学习之——实时数仓演进

大数据学习之——实时数仓演进

学习的原文:Flink + TiDB,体验实时数仓之美

实时数仓演进图:

 

storm架构:

 

spout负责数据传递,输出tuples元组,Bolt负责数据转换

storm的不足:无法支持时间窗口

lambda架构:

 

batch layer:全量离线数据,输出batch view

real time layer/speed layer: 实时增量数据,输出 realtime view

serving layer:将batch view和realtime view进行合并

kappa架构:

 

数据通过实时流处理并输出

如果需要重算,则重头将数据流通过实时程序再算一遍

强依赖于mq

flink架构:

 

 

结果输出到olap引擎中

每个计算输出1个olap表

不足:数据孤岛,导致数据耦合

以上实时架构的对比:

 

未来展望

 

HTAP——基于oltp数据库每增加分析类的引擎,使之支持olap,存储上,olap和oltp分离互不干扰。

TiDB有适用于在线系统的行存TiKV引擎,也有适用于分析计算的列存TiFlash引擎,还有TiCDC将数据流出到外部应用中。

TiDB

 

左侧TiDB层负责接受客户端的消息,转化为分布式执行计划,下推到存储层。

TiKv负责oltp,TiFlash负责olap。

TiDB兼容Myql5.7协议,用户像使用mysql一样使用TiDB。TiDB通过PD Server存储元数据。

学习收获:

1、storem架构中的两个概念spout,bolt对我来说是新的,storm我本身也没怎么关注过

2、flink架构对olap的强依赖比我想象的深,这个概念我之前没有

3、htap,hsap两个概念,对我来说是全新的

4、TiDB的两个引擎

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/687383.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号