大数据应用场景和大数据职业发展需要掌握的技术技能构成

• 大数据应用场景和大数据职业发展需要掌握的技术技能构成
• • • • 1、大数据的发展方向和应用场景
      • 2、大数据人才的学习和发展路线规划

主要的应用场景
1、推荐系统
    电商 + 跨平台广告推荐
    抖音等视频系统的内容推荐

2、行业大数据
    政务：新型冠状病毒传播监测
    教育：学生综合分析
    物流：智慧物流
    保险：风险预测
    金融：用户画像获取优质客户
    房产：精准投策营销

3、网络安全
    态势感知

4、科技
    5G、物联网、人工智能 （决策支持、路径规划等）

大数据主要解决海量数据的采集、存储、计算

1、Java
    1、数据库技术，MySql
    2、Maven
    3、Linux
    4、Shell 编程
    5、分布式
    6、HDFS
    7、Zookeeper

2、Hadoop 生态，高效计算
    1、Hive
    2、Flume
    3、Kafka
    4、Hbase
    5、Sqoop
    6、Kylin
    7、Azkaban
    8、DataX

3、Spark 生态，数据挖掘和机器学习
    1、Scale
    2、Spark
    3、SparkStream
    4、Github / Git
    5、Elasticsearch
    6、Kibana
    7、Logstash
    8、Redis

4、Flink 生态，实时计算
    1、Flink
    2、Event Time 与 Window
    3、有状态计算
    4、Hudi
    5、ClickHouse
    6、Apache Doris