大数据实训

• 工具
• • 架构
  • 数仓架构
  • Linux-简单使用部署

vmware15
Linux centos7.5
Hadhoop3.2.1
Hive3.1.2
SpringBoot
Echart
zk3.4.5

1. 编码[内存]
2. 磁盘（textfile xml json）
3. RDBMS(mysql oracle)
4. 分布式、集群 （nosql）
5. Hadhoop
   

离线:批计算——攒了一批数据、计算一次

1. 数据来源
   （1）业务数据【RDBMS】
   （2）行为数据【行为日志】
   （3）爬虫数据【api】
   （4）第三方交易【api】
2. 数据采集
   （1）mr
   （2）spark
   （3）flink
   3.数仓搭建
   （1）Hive
   4.业务流程
   

实时:流计算——来一次计算一次
1.数据来源
（1）业务数据【RDBMS】
（2）行为数据【行为日志】
（3）爬虫数据【api】
（4）第三方交易【api】
2.缓冲
（1）kafla
3.存储
（1）redis
（2）hbase
（3）sprakstreaming
（4）flink
（5）blink
4.分析
（1）olap分析引擎
（2）kylin
（3）clickhouse
5.展示
Springboot
Echarts