作者主页：不吃西红柿
简介：CSDN博客专家、C站总榜第8、HDZ核心组成员。欢迎点赞、收藏、评论
粉丝专属福利：知识体系、面试题库、技术互助、简历模板。文末公众号领取
包邮送书（每周1-2次）：关注公众号「信息技术智库」回复「送书」
目录
文章总纲
一、大数据知识体系
大数据工程师必备技能
二、面试题库
三、数据仓库知识体系
耗时n年，38页《数据仓库知识体系.pdf》
下载PDF
四、mysql知识体系
五、spark知识体系
六、Flink知识体系
七、Python系列
文章总纲
一、大数据知识体系
而大数据时代，有一个关键性的岗位不得不提，那就是大数据工程师。想必大家也会好奇，大数据工程师，日常是做什么的呢？
| 1.数据采集 | 找出描述用户或对业务发展有帮助的数据，并将定义相关的数据格式，交由业务开发部门负责收集对应的数据。 |
| 2.ETL工程 | 对收集到的数据，进行各种清洗、处理、转化等操作，完成格式转换，便于后续分析，保证数据质量，以便得出可以信赖的结果。 |
| 3.构建数仓 | 将数据有效治理起来，构建统一的数据仓库，让数据与数据间建立连接，碰撞出更大的价值。 |
| 4.数据建模 | 基于已有的数据，梳理数据间的复杂关系，建立恰当的数据模型，便于分析出有价值的结论。 |
| 5.统计分析 | 对数据进行各种维度的统计分析，建立指标体系，系统性地描述业务发展的当前状态，寻找业务中的问题，发现新的优化点与增长点。 |
| 6.用户画像 | 基于用户的各方面数据，建立对用户的全方位理解，构建每个特定用户的画像，以便针对每个个体完成精细化运营。 |
大数据工程师必备技能
| 分类 | 子分类 | 技能 | 描述 |
| 技 术 能 力 | 编程基础 | Java基础 | 大数据生态必备的java基础 |
| Scala基础 | Spark相关生态的必备技能 | ||
| SQL基础 | 数据分析师的通用语言 | ||
| SQL进阶 | 完成复杂分析的必备技能 | ||
| 大数据框架 | HDFS&YARN | 大数据生态的底层基石 | |
| Hive基础 | 大数据分析的常用工具 | ||
| Hive进阶 | 大数据分析师的高级装备 | ||
| Spark基础 | 排查问题必备的底层运行原理 | ||
| Spark SQL | 应对复杂任务的利刃 | ||
| 工具 | Hue&Zeppelin | 通用的探索分析工具 | |
| Azkaban | 作业管理调度平台 | ||
| Tableau | 数据可视化平台 | ||
| 业务基础 | 数据收集 | 数据是如何收集到的？ | |
| ETL工程 | 怎么清洗、处理和转化数据？ | ||
| 数据仓库基础 | 如何完成面向分析的数据建模？ | ||
| 元数据中心 | 如何做好数据治理？ | ||
| 分析思维 | 数据分析思维方法论 | 怎么去分析一个具体问题？ | |
| 排查问题思维 | 如何高效排查数据问题？ | ||
| 指标体系 | 怎么让数据成体系化？ | ||
二、面试题库
注意：本系列文的目的不是为了面试取巧，而是通过一些经典的面试题，交流技术观点、提升技术理解、解决工作难题。
查看全部文章搜：信息技术智库
三、数据仓库知识体系
耗时n年，38页《数据仓库知识体系.pdf》
拥有本篇文章，意味着你拥有一本完善的书籍，本篇文章整理了数据仓库领域，几乎所有的知识点，文章内容主要来源于以下几个方面：
- 源于「数据仓库交流群」资深数据仓库工程师的交流讨论，如《sql行转列的千种写法》。
- 源于群友面试大厂遇到的面试真题，整理投稿给我，形成《面试题库》。
- 源于笔者在系统学习过程中整理的笔记和一点理解。
- 源于技术网站的优质文章和高赞答案。
下载PDF
【下载链接】：https://pan.baidu.com/s/1FZrr2pzh1QHGV12D3yjwBg
【提取码】：98b3
四、mysql知识体系
五、spark知识体系
六、Flink知识体系
七、Python系列
文章链接 面试知识集锦-
「面试知识集锦」一文搞懂mysql索引！（原理&使用策略）
-
「面试知识集锦」面试技巧篇丨HR的小心思，你真的懂吗？
-
「面试知识集锦」mysql基础知识、面试真题
-
「面试知识集锦」linux篇丨shell基础命令全集，我奶奶的速查手册！！
更新中系列：
系列一：面试技巧
系列二：Linux & Shell
系列三：Mysql
系列四：Hadoop 底层原理
系列五：Python基础 & 爬虫
系列六：数据仓库
系列七：Sql从入门到放弃
系列八：Zookeeper
系列九：Kafka
系列十：Hive
系列十一：项目实战经验
系列十二：Java
系列十三：数据结构与算法
系列十四：Redis
系列十五：Flink
系列十六：Spark
系列十七：Scala
系列十八：Hbase
系列十九：调度系统生态
系列二十：ETL生态
大数据集锦-
SQL函数大全丨知识卡片
-
大数据生态常用组件（一）：数据库、计算引擎、ETL工具、调度工具
-
大数据生态常用组件（二）：概括介绍、功能特性、适用场景
-
大数据硬核-知识体系（一）Java篇
-
大数据硬核-知识体系（二）Scala基础
-
大数据硬核-知识体系（三）SQL基础
-
大数据硬核-知识体系（四）SQL进阶
-
大数据硬核-知识体系（五）HIVE基础
-
大数据硬核-知识体系（六）HIVE进阶
-
大数据硬核-知识体系（七）HDFS & YARN基础
-
大数据硬核-知识体系（八）Spark基础
-
大数据硬核-知识体系（九）Spark SQL
-
大数据硬核-知识体系（十）Linux命令基础
-
大数据硬核-知识体系（十一）Hue & Zeppelin
-
大数据硬核-知识体系（十二）Tableau数据可视化
-
大数据硬核-知识体系（十三）Azkaban调度系统
-
大数据硬核-知识体系（十四）数据分析架构
-
大数据硬核-知识体系（十五）数据收集
-
大数据硬核-知识体系（十六）ETL工程
-
大数据硬核-知识体系（十七）数据仓库基础
-
大数据硬核-知识体系（十八）元数据中心
-
大数据硬核-知识体系（十九）支撑体系
-
大数据硬核-知识体系（二十）数据分析方法
-
大数据硬核-知识体系（二十一）指标体系
-
大数据硬核-知识体系（二十二）排查数据
基础知识
-
三万字《数据仓库知识体系》轻松拿下字节offer【建议收藏】
-
秒懂数仓：四种常见数据模型（维度模型、范式模型等）
-
秒懂数仓：数据仓库的8个发展阶段
-
秒懂数仓：三种事实表（设计原则，设计方法、对比）
-
秒懂数仓：总线架构、一致性维度、一致性事实
-
秒懂数仓：元数据分类、元数据管理
-
秒懂数仓：维度表（设计原则、设计方法）
-
秒懂数仓：三范式与反范式
-
秒懂数仓：数据仓库架构-Lambda和Kappa对比
-
秒懂数仓：数据治理（目的、方法、流程）
-
秒懂数仓：常用ETL工具、方法
-
秒懂数仓：数据仓库规范设计
-
秒懂数仓：数据应用--OLAP
-
面试官都惊了，「缓慢变化维」竟然有10种处理方式
-
SQL函数大全丨知识卡片
面试真题
-
数据仓库丨大厂常问经典面试真题（持续更新）
数据治理
-
企业数据治理基础概念 & 案例
用户画像
-
用户画像基础概念 & 案例分享
-
1. Apache Spark简介：一个统一的分析引擎
-
2.Spark入门介绍与基础案例
-
3.Apache Spark结构化API（上）
-
4.Apache Spark结构化API（下）
-
5.Spark SQL和Dataframes：内置数据源简介
-
6.Spark SQL和Dataframes：与外部数据源进行交互
-
7.Spark SQL和DataSet
-
8.优化和调整Spark应用程序
-
9. 结构化流（上）
-
10. 结构化流（中）
-
11. 结构化流（下）
-
12. 使用Apache Spark构建可靠的数据湖
-
13. 使用MLlib进行机器学习（上）
-
14. 使用MLlib进行机器学习（下）
-
15. 使用Apache Spark管理、部署和拓展机器学习管道
-
16. 结语：Apache Spark 3.0
-
「Flink实时数据分析系列」1. 有状态流处理简介
-
「Flink实时数据分析系列」2. 流处理基本概念
-
「Flink实时数据分析系列」3. Apache Flink的体系架构
-
「Flink实时数据分析系列」4. 构建Apache Flink的开发环境
-
「Flink实时数据分析系列」5. Flink的DataSteam API（v1.7）
-
「Flink实时数据分析系列」6. 基于时间和窗口的算子
-
「Flink实时数据分析系列」7. 有状态算子和应用（上）
-
「Flink实时数据分析系列」8. 有状态算子和应用（下）
-
「Flink实时数据分析系列」9. 与外部系统的读写交互（上）
-
「Flink实时数据分析系列」10. 与外部系统的读写交互（下）
-
「Flink实时数据分析系列」11. 配置Flink流式应用（上）
-
「Flink实时数据分析系列」12. 配置Flink流式应用（中）
-
「Flink实时数据分析系列」13. 配置Flink流式应用（下）
-
「Flink实时数据分析系列」14. Flink和流式应用运维（上）
-
「Flink实时数据分析系列」15. Flink和流式应用运维（下）
-
「Flink实时数据分析系列」16. Flink生态提供的其它工具
-
Flink 基础知识
-
Javascript系列6部曲：包装类型
-
Javascript系列6部曲：作用域、预解析
-
Javascript系列6部曲：面向过程、面向“对象”
-
Javascript系列6部曲：数组和函数
-
Javascript系列6部曲：JS流程控制
-
Javascript系列6部曲：JS语法知识
-
推荐2021年前端必读书籍(送电子版)
-
面试稳了！阿珊的9个前端手写笔记
-
就这？入门Typescript并不难！
-
盘点Javascript数组常用方法
-
霸占CSDN榜一的20个Python实战用例总结（标准库+高级库）
-
五万字python教程，学不会找我！教到你会为止！！内容超多，建议收藏慢慢看！
-
Python简介 （暂无链接）
-
探索Jupyter Notebook
-
使用Leather进行数据可视化
-
科学Python生态和Numpy
-
使用NumPy和Matplotlib进行数据可视化
-
图像可视化和3D图形
-
可视化图和网络
-
Pandas入门
-
处理COVID-19数据
添加公众号「信息技术智库」：
硬核资料：20G，8大类资料，关注即可领取（PPT模板、简历模板、技术资料）
技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。
面试题库：由各个技术群小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。
知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、前端等。
送书抽奖丨技术互助丨粉丝福利
