栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

电商离线数仓项目-数仓分层哪几层?/数仓为什么要分层?

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

电商离线数仓项目-数仓分层哪几层?/数仓为什么要分层?

电商离线数仓
  • 数仓分成哪几层?
  • 数仓为什么要分层?
  • 电商离线数仓项目中的数仓

数仓分成哪几层?

1、ODS层(原始数据层):存放原始数据,直接加载原始日志、数据,数据保持原貌不做处理。
2、DWD层(明细数据层)
结构和粒度与ODS层保持一致,对ODS层数据进行清洗(去除空值,脏数据,超过极限范围的数据),也有公司叫DWI。
3、DWS层(服务数据层)
以DWD为基础,进行轻度汇总。一般聚集到以用户当日,设备当日,商家当日,商品当日等等的粒度。
4、 ADS层(数据应用层)
数据应用层,也有公司或书把这层命名为APP层、DAL层等。
面向实际的数据需求,以DWD或者DWS层的数据为基础,组成的各种统计报表。统计结果最终同步到RDS以供BI或应用系统查询使用。

数仓为什么要分层?

1.把复杂问题简单化
将一个任务分解成多个步骤来完成,每一层只处理单一的步骤,比较简单和容易理解.
2.清晰的数据结构
每一个数据分层都有它的作用域,这样我们在使用表的时候能更方便地定位和理解.
3.减少重复开发
规范数据分层,通过中间数据层,能够减少极大的重复计算,增加一次计算结果的复用性.
4.隔离原始数据
不论是数据的异常还是数据的敏感性,使真实数据与统计数据解耦开.

电商离线数仓项目中的数仓

1)ODS层(原始数据层):存放原始数据,直接加载原始日志、数据,数据保持原貌不做处理。存储两个最初始的文件:ods_start_log和ods_event_log。
(我们在导完了一层之后,要去查看是否导入成功,如果要查看数据的行数,HQL语句可以写成:

select row_number() over(),* from ods_start_log;

2)DWD层 (数据明细层) : 对ods层数据进行清洗,去除空值,脏数据,超过极限范围的数据,行式存储改为列式存储,改变压缩格式。
3)

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/281784.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号