大数据的数据多样性和分析需求的多元化等，促使众多技术组件产生，还使得大数据的技术体系变得非常复杂，可以划分为数据采集，数据存储，管理调度（包括资源管理、服务协调和工作流调度）、计算分析和组件应用
1.数据采集：主要由关系型与非关系型数据采集组件，以及分布式消息队列等构成，如sqoop、Flume、Scnbe和Kafka等
2.数据存储：主要由分布式文件系统、关系型数据库和非关系型数据库等构成，如HDFS、MYSQL、Hbase、Kudu、Redis和Neo4j等
3.管理调度：主要包含统一资源管理与调度系统YARN,容器集群管理系统Kkubernetes，服务协调系统ZooKeeper，以及工作流调度平台AZKaban等
4.计算分析：包含批处理、流计算、查询分析和图计算这4种计算方式，工作有批处理框架MapReduce、流计算框架Flink、查询分析引擎lmpala和图计算引擎Gelly等
5.组件应用：包含多种数据分析和机器学习工具，如Hive、Pig、Mahout和TensorFlow等
上述层之间存在依赖关系，如计算分析层依赖数据存储层、组件应用层依赖计算分析层，下文将对各层中的关键组件进行介绍。
