- 大数据实时广告系统架构
- 1 日志采集
- 2 kafka 削峰填谷
- 3 实时计算部分
- 3.1 实时日志拼接、热点数据计算
- 3.2 Flink 关联日志
- 3.3 Flink 实时计算
- 3.4 吐出数据到 MPP
- 4 离线验证部分
- 4.1 Flink 吐出到 Hive
- 4.2 Hive 合并计算日志
- 4.3 T+1 计算指标
- 4.4 吐出指标到 MPP 修复昨日数据
- 5 BI 展现
- 实时计算 / 离线修复系统架构图
通过日志订阅、用户系统接口返回等采集/接受数据
2 kafka 削峰填谷尽量通过随机/轮询方式设计 Topic， 把关好数据源的数据倾斜
3 实时计算部分 3.1 实时日志拼接、热点数据计算根据业务设计窗口，组合业务日志。3.2 Flink 关联日志
未关联日志通过 retry 进行关联。3.3 Flink 实时计算
根据业务计算实时指标估算。3.4 吐出数据到 MPP
吐出到 MPP 给予估值展现4 离线验证部分 4.1 Flink 吐出到 Hive
消费数据到 Hive STG 层4.2 Hive 合并计算日志
T + 1 任务合并日志，日志存放周期 3 - 7 天4.3 T+1 计算指标
T +1 建设数仓，ODS - DWD - ADS - DW4.4 吐出指标到 MPP 修复昨日数据
更新指标数据5 BI 展现 实时计算 / 离线修复系统架构图
待上传
