栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

准备面试前对离线数仓项目的Quick Review【DAY03】

准备面试前对离线数仓项目的Quick Review【DAY03】

业务数仓的理论及搭建

表的分类
维度表:部分公司又分为实体表和维度表
事实表:部分公司又分为事务型事实表和周期型事实表

实体表一般是指现实存在的业务对象:如用户,商家,商品等。一般是业务名词

维度表一般是指一些业务状态。如:支付1,未支付0。所以又称为码表。

事务型事实表一般是指随业务发生不断产生的数据。如:交易流水,出库入库记录等。特点是一旦发生就不会再变。

周期型事实表一般指随着业务发生不断产生的数据。区别是:数据会随业务周期性的推进而变化,如:贷款申请周期,订单周期等。

业务数仓中各种表的同步策略

实体表:数据量较小:通常可以做每日全量,即每天存一份完整数据。策略:每日全量

维度表:数据量较小:通常可以做每日全量,即每天存一份完整数据。策略:每日全量

事务型事实表:因为数据不会变化,而且数据量巨大,所以每天只同步新增数据即可。策略:每日增量表,即每日创建一个分区存储

周期型事实表:数据量巨大,且用每日增量表又无法反应数据变化。策略:每日新增及变化表,包括了当日的新增和修改

业务数仓分层

解释:ods_user_info_df ----> ods: ODS层数据;user_info:数据表描述;df:day full,每日全量表同步策略。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/761661.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号