框架版本选型：
- Apache：运维麻烦，组件间兼容性需要自己调研。（一般大厂使用，技术实力雄厚，有专业的运维人员）
- CDH6.3.2：国内使用最多的版本，但CM不开源，但其实对中、小公司使用来说没有影响（建议使用）10000美金一个节点CDP7.0
- HDP：开源，可以进行二次开发，但是没有CDH稳定，国内使用较少
- Azkaban、hive、kylin需要重新编译
| Product | Old | New | Change Desc |
| Hadoop | 2.7.2 | 3.1.3 |
|
| Zookeeper | 3.4.10 | 3.5.7 | |
| Mysql | 5.6.24 | 5.7.16 |
|
| HIve | 1.2.1 | 3.1.2 | (不在支持mr引擎) |
| Flume | 1.7.0 | 1.9.0 | |
| Kafka | 0.11-0.2 | _2.11-2.4.1 |
|
| kafka Eagle | 1.3.7 | 1.4.5 | |
| Azkaban | 2.5.9 | 3.84.4 | 集成给用户打电话的功能 |
| Spark | 2.1.1 | 3.0.0 | 不支持Scala 2.11.X，升级为2.12.X |
| Hbase | 1.3.1 | 2.0.5 | |
| Phoenix | 4.14.1 | 5.0.0 | 支持Apache Hbase 2.0 |
| Redis | 3.2.5 | 3.2.5 | |
| Canal | 1.1.2 | 1.1.2 | |
| ElasticSearch+Kibana | 6.3.1 | 6.3.1 |
