- 前言
- 一、Hadoop
- 1.简要概念
- 2.组件&作用
- 3.守护线程&作用
- 4.安全模式
- 5.HDFS优缺点
- 6.HDFS读写流程
- 7.HDFS脑裂
- 8.HA&Federation
- 9.Yarn的请求&调度
- 10.MapReduce的过程
- 11.MR的代码&如何使用
- 12.常用命令
- 13.搭建&各配置文件作用
- 14.遇到的问题&一些优化
- 1.HDFS参数调优
- 2.节点间数据均衡
- 3.基准测试
- 4.小文件问题
- 5.Hadoop宕机处理
- 二、Hive
- 1.简要概念
- 2.请求过程
- 3.语法解析过程
- 4.搭建
- 5.常用函数
- 6.优化
- 7.Load命令
- 8.自定义函数
- 9.自定义函数的使用
- 10.使用过程遇到什么问题，怎么解决的
- 三、Hbase
- 1.简要概念
- 四、Zookeeper
- 1.简要概念
- 五、Flume
- 1.简要概念
- 2.组件
- 3.命令
- 4.配置文件编写
- 5.自定义拦截器
- 6.优化
- 1.小文件问题
- 2.fileChannel优化
- 六、Kafka
- 1.简要概念
- 2.组件
- 3.命令
- 4.Zookeeper的作用
- 5.Ack&Isr&HW&Leo
- 6.优化
- 1.压力测试
- 2.机器数量
- 七、Sqoop
- 1.简要概念
- 2.命令
- 3.参数
- 4.遇到的问题&处理
- 八、Impala
- 1.简要概念
- 2.使用需要注意什么
- 3.使用中和Hive有什么不一样，配合Hive使用需要注意什么
- 九、Azkaban
- 1.简要概念
- 十、数仓
- 1.分层
- 2.建模
- 3.几种类型的表
- 4.lambda架构&kappa架构
- 5.初始化&增量&全量导数
- 十一、Shell
- 1.集群启动
- 2.参数sh编写
- 十二、ELK
- 1.简要概念
- 十三、Redis
- 1.简要概念
- 十四、Spark
- 1.简要概念
- 十五、Flink
- 1.简要概念
- 总结
前言
大数据组件知识点整理，持续补充
loading。。。
一、Hadoop 1.简要概念 2.组件&作用 3.守护线程&作用 4.安全模式 5.HDFS优缺点 6.HDFS读写流程 7.HDFS脑裂 8.HA&Federation 9.Yarn的请求&调度 10.MapReduce的过程 11.MR的代码&如何使用 12.常用命令 13.搭建&各配置文件作用 14.遇到的问题&一些优化 1.HDFS参数调优 2.节点间数据均衡 3.基准测试 4.小文件问题 5.Hadoop宕机处理
二、Hive 1.简要概念 2.请求过程 3.语法解析过程 4.搭建 5.常用函数 6.优化 7.Load命令 8.自定义函数 9.自定义函数的使用 10.使用过程遇到什么问题，怎么解决的
三、Hbase 1.简要概念
四、Zookeeper 1.简要概念
五、Flume 1.简要概念 2.组件 3.命令 4.配置文件编写 5.自定义拦截器 6.优化 1.小文件问题 2.fileChannel优化
六、Kafka 1.简要概念 2.组件 3.命令 4.Zookeeper的作用 5.Ack&Isr&HW&Leo 6.优化 1.压力测试 2.机器数量
七、Sqoop 1.简要概念 2.命令 3.参数 4.遇到的问题&处理
八、Impala 1.简要概念 2.使用需要注意什么 3.使用中和Hive有什么不一样，配合Hive使用需要注意什么
九、Azkaban 1.简要概念
十、数仓 1.分层 2.建模 3.几种类型的表 4.lambda架构&kappa架构 5.初始化&增量&全量导数
十一、Shell 1.集群启动 2.参数sh编写
十二、ELK 1.简要概念
十三、Redis 1.简要概念
十四、Spark 1.简要概念
十五、Flink 1.简要概念
总结
总结
