日志的格式和组成
数据生成脚本
通过javabean一层一层封装,最后设置打印频率和数量。再将其同依赖一起打包放到Linux服务器中自动执行。
远程连接服务器:Xshell/secureCRT
数仓分层概念
数仓分层的优点
数仓分层的命名规范
根据日志格式使用不同方法提取字段
之后就是将提取出的字段(从ods层)导入到dwd层再将dwd层的数据处理(去重等)导入到dws层。
这个时候就需要使用到脚本自动凌晨导入技术和脚本任务调度工具了。

日志的格式和组成
数据生成脚本
通过javabean一层一层封装,最后设置打印频率和数量。再将其同依赖一起打包放到Linux服务器中自动执行。
远程连接服务器:Xshell/secureCRT
数仓分层概念
数仓分层的优点
数仓分层的命名规范
根据日志格式使用不同方法提取字段
之后就是将提取出的字段(从ods层)导入到dwd层再将dwd层的数据处理(去重等)导入到dws层。
这个时候就需要使用到脚本自动凌晨导入技术和脚本任务调度工具了。