栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

准备面试前对离线数仓项目的Quick Review【DAY02】

准备面试前对离线数仓项目的Quick Review【DAY02】

日志的格式和组成,数据生成脚本,数仓分层以及用户行为数仓的搭建

日志的格式和组成
数据生成脚本
通过javabean一层一层封装,最后设置打印频率和数量。再将其同依赖一起打包放到Linux服务器中自动执行。
远程连接服务器:Xshell/secureCRT
数仓分层概念

数仓分层的优点
数仓分层的命名规范

根据日志格式使用不同方法提取字段

之后就是将提取出的字段(从ods层)导入到dwd层再将dwd层的数据处理(去重等)导入到dws层。
这个时候就需要使用到脚本自动凌晨导入技术和脚本任务调度工具了。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/758641.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号