栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

尚硅谷 数仓3.0

尚硅谷 数仓3.0

学习目标: 了解数仓3.0项目的整个流程以及第一部分内容用户行为数据采集
学习内容:

准备三台虚拟机(配置ip)hadoop安装zookeeper安装kafka安装采集日志flume消费kafka数据flume


学习时间: 1、 周一至周五晚上 7 点—晚上9点 2、 周六上午 9 点-上午 11 点 3、 周日下午 3 点-下午 6 点
学习产出:

1、 论文
2、CSDN 技术博客
3、 学习的 vlog 视频 1 个

项目需求

用户行为数据采集平台搭建(通过埋点的方式,形成用户行为日志)业务数据采集平台搭建。(如注册、加购物车等)数据仓库维度建模(重点)分析,设备、会员、商品、地区、活动等电商核心主题,统计的指标达100多个采用即席查询工具(一些提前不可预知,需要及时响应快)采用集群性能监控(zabbix)元数据管理(hive)质量监控(那个步骤出了问题,可及时查看)

技术选型

数据采集:Flume,Kafka,Sqoop,

数据存储:MYSQL、HDFS、Hase

数据计算:Hive、Spark、Tez

数据查询:Presto、Kylin

数据可视化:EchartsSuperset

任务调度:Azkkaban

集群监控:Zabbix

元数据:Atlas

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/758844.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号