学习内容:
准备三台虚拟机(配置ip)hadoop安装zookeeper安装kafka安装采集日志flume消费kafka数据flume
学习时间: 1、 周一至周五晚上 7 点—晚上9点 2、 周六上午 9 点-上午 11 点 3、 周日下午 3 点-下午 6 点
学习产出:
1、 论文
2、CSDN 技术博客
3、 学习的 vlog 视频 1 个
项目需求
用户行为数据采集平台搭建(通过埋点的方式,形成用户行为日志)业务数据采集平台搭建。(如注册、加购物车等)数据仓库维度建模(重点)分析,设备、会员、商品、地区、活动等电商核心主题,统计的指标达100多个采用即席查询工具(一些提前不可预知,需要及时响应快)采用集群性能监控(zabbix)元数据管理(hive)质量监控(那个步骤出了问题,可及时查看)
技术选型
数据采集:Flume,Kafka,Sqoop,
数据存储:MYSQL、HDFS、Hase
数据计算:Hive、Spark、Tez
数据查询:Presto、Kylin
数据可视化:EchartsSuperset
任务调度:Azkkaban
集群监控:Zabbix
元数据:Atlas



