Hbase是分布式列存储数据库,提供了对大规模数据的随机、实时读写访问,同时,Hbase中存在的数据可以使用MapReduce来处理,它将数据存储和并行计算结合 Spark的特点: 建立了在统一抽象的RDD（分布式内存抽象)之上,使得它可以以基本一致的方式应对不同的大数据处理场景 提供了整体的解决方案:主要包括Spark内存中批处理,Spark SQL交互式查询,Spark Streaming流式计算,GraphX和MLib提供的常用图计算和机器学习算法 Spark的核心组件: RDD是spark最核心的部分,Spark将所有数据抽象成RDD 作用于RDD上的Operation分成转换(transformantion)和动作(action),Spark中所有的转换都是惰性的，在执行转换操作,并不会提交Job,只有在执行"动作"操作,所有的operation才会被提交到cluster中真正的被执行,大大提升系统的性能 Shuffle:Shuffle中Map任务产生的结果会根据所设置的partitioner算法填充到当前执行任务所在的机器的每个桶中，Reduce任务启动时，会根据任务的ID，所依赖的Map任务ID以及MapStatus获取相应的数据作为输入进行处理,Shuffle数据必须持久化磁盘,不能缓存内存中。
