【初识大数据】4、大数据学习路线

• • 大数据学习路线
  • • 1.1 基础
    • 1.2 Hadoop
    • 1.3实时计算
    • 1.4 Spark

1、基础JAVA语言（Java SE）

• 变量 类型 循环 if
• 面向对象：类、封装、集成、多态
• I/O：输入流、输出流——>HDFS会用到
• 反射、泛型——>MapReduce程序
• JDBC: 操作关系型数据库（RDBMS）——>Hive

2、Linux基础： Linux基本操作/常用命令（见初识大数据二/三）
3、SQL基础： select（重点）insert、update、delete
----> Hive、Spark、SQL都会用到
----> 大数据的终极目标：使用SQL分析大数据

（1）数据储存：HDFS（Hadoop Distributed File System）
（2）数据计算：MapReduce（Java程序）:在Hadoop 2.x以后，在Yarn容器---> 实现离线计算
（3）Hive：基于HDFS智商的数据仓库，支持SQL语句
（4）HBase：基于HDFS智商的NoSQL数据库
（5）ZooKeeper：实现HA（High Availability高可用性）的功能
（3）其他组件（生态圈）：Pig、Flume、Sqoop

（1）Redis内存NoSQL数据库
		Redis Cluster：分布式解决方案
（2）Apache Storm：进行实时计算（流式计算）

以上都是用JAVA实现开发，以下是Scala语言开发

只有数据计算，没有数据的存储（依赖HDFS）

（1）Scala编程语言：多范式的编程语言（支持多种方法编程：1、面向对象  2、函数式编程）
（2）SPark Core：内核，相当于MapReduce
				最重要的概念：RDD（弹性分布式数据集）
（3）Spark SQL：类似Hive，支持SQL语句
（4）Spark Streaming：处理流式计算的模块，类似Storm