桂林电子科技大学 三院 大数据课程 复习笔记
考试范围：
教材:《大数据技术原理与应用》第三版 林子雨
第1章：大数据概述
第2章：大数据处理架构Hadoop
第3章：分布式文件系统HDFS
第4章：分布式数据库Hbase
第5章：NoSQL数据库
第6章：云数据库
第7章：MapReduce
第9章：数据仓库Hive
第10章：Spark
第11章：流计算
重要知识点：
1、大数据的4V
数据量大：在Web2.0时代、网络用户数目极大，在视频、照片社交软件火热的今天，用户产生的数据量非常大。
数据类型繁多：有金融大数据、医疗大数据、城市大数据等等。
处理速度快：1分钟，新浪微博产生2万条微博，Twitter产生10万条推文。
价值密度低：例如监控视频的存储，没有调取监控视频用时可能价值并没有体现，但在使用时可能会产生很大的价值。
2、大数据的应用
智能汽车、能源、体育与娱乐等等、大数据应用非常广泛。
3、大数据关键技术
数据采集与预处理、数据存储和管理（HDFS）、数据处理与分析（如MapReduce）、数据安全和隐私保护。
4、大数据计算模式
批处理计算：对大规模数据的批量处理 （MapReduce、Spark）
流计算：针对流数据的实时计算(Spark)
图计算：针对大规模图结构的数据的处理
查询分析计算：大规模数据的存储管理和查询分析（Hive）
5、大数据与云计算、物联网的关系
云计算为大数据提供技术基础、大数据为云计算提供用武之地。
物联网是大数据的重要来源、大数据技术为物联网数据分析提供支撑。
云计算为物联网提供海量数据存储能力，物联网为云计算技术提供了广阔的应用控件。
1、Hadoop的核心
HDFS是分布式文件存储系统(Hadoop Distributed File System) 、也是Hadoop的核心。
2、Hadoop的特性
高可靠性 、高效性、高可扩展性 、高容错性 、成本低 、支持操作系统与编程语言广泛
3、HDFS常用命令
创建文件夹(-p 递归创建) hadoop fs -mkdir -p /user/hadop
显示文件内容 hadoop fs -cat hdfs文件
文件上传 hadoop fs -put 本地 hdfs文件
删除文件夹 hadoop fs -rm -r hdfs文件夹
删除文件 hadoop fs -rm hdfs文件
切换目录：cd
查看文件与目录：ls -R(-R在hdfs为递归查看)
删除空目录：rmdir
复制文件或目录：cp
裁剪:mv
创建文件:touchz
拉取文件 get
1、 HDFS计算机集群结构
分布式文件系统把文件分布存储到多个计算机节点上、成千上万的计算机节点构成计算机集群。
2、 HDFS的结构
一个默认块大小为64MB,如果一个文件小于一个数据块的大小，在分布式文件系统，它并不占用整个数据块的存储空间。
名称节点负责文件和目录的创建、删除、和重命名等，同时管理着数据节点和文件快的映射关系。
数据节点负责数据的存储和读取，在存储时，由名称节点分配存储文职，客户端将数据直接写入相应数据节点。
为了保证数据的完整性，文件块会被赋值为多个副本存储到多个不同的节点上，而存储同一文件块的不同副本又会分布在不同的机架上。
3、 HDFS特点
优点：
兼容廉价的设备硬件。
流数据读写：支持流式方式来访问文件。
大数据集：单个文件可达到GB甚至TB级别
简单的文件模型：一次写入，多次读取。
强大的跨平台兼容性。
缺点：
不适合低延迟数据访问。
无法高效存储大量小文件。
不支持多用户写入及任意修改文件。
4、 HDFS的相关概念（重点）
重点：块、名称节点和数据节点与第二名称节点。
块：HDFS文件块的大小默认为64MB，一个文件会被拆分为多个块进行存储。(相关知识点:MapReduce中的Map任务一次只能处理一块中的数据。)
采用块抽象化的好处：支持大规模文件存储、简化系统设计、设和数据备份。
名称节点负责管理分布式文件系统的命名空间，保存了FsImage和EditLog.
FsImage用于维护文件系统树以及文件树中所有的文件和问价夹的元数据。
EditLog(操作日志文件)记录了所有针对文件的创建、删除、重命名、等操作。
名称节点存储文件名与文件在数据节点中的位置的映射关系、但并不是持久化存储在名称节点，而是当名称节点启动时扫描分布式文件系统得到的。
名称节点启动将FsImage加载到内存-> 重新执行EditLog->建立新的空FsImage和EditLog->工作记录时使用新的FsImage和EditLog当变大后系统写入到总的FsImage和EditLog内（工作模式请看第二名称节点）
数据节点 负责数据的存储和读取，根据客户端和名称节点的调度进行数据的存储和检索。也会定时向名称节点汇报自己的存储块列表信息。
第二名称节点：
功能：完成FsImage和EditLog的合并操作，减小EditLog文件大小。
EditLog和FsImage的合并操作：
5、 HDFS体系结构
主从结构
客户端向名称节点请求文件名或者数据块号，名称节点将数据块号、数据块位置发送至客户端。
客户端与数据节点通信进行数据的读写操作。HDFS集群只有一个名称节点，其带宽、计算性能会影响整个系统的性能。
HDFS命名空间管理
HDFS集群只有一个命名空间,即/ some/some /some /some… ,向Linux的文件目录结构一样。
通信协议
HDFS通信协议建立在TCP/IP基础之上。
名称节点与数据节点采用数据节点协议进行交互。
客户端与数据节点交互通过远程过程调用(RPC)
HDFS体系结构局限性
命名空间限制、性能瓶颈(原因靠名称节点)、隔离问题（一个命名空间、和一个名称节点无法做到读写权限分配等）、集群可用性(一个名称节点)
6、 HDFS的存储原理
多副本冗余存储，加快了数据传输的速率、容易检查数据错误、保证数据的可靠性。
存放策略
HDFS默认的冗余复制因子是3，每一个文件块被保存到3个地方。
（1） 如果是集群内发起的写操作，则把第1个副本放置发起写操作请求的数据节点上，实现就近写入数据，如果集群外发起写操作，则在集群内选一个磁盘空间充足且CPU不太忙的数据节点，做为第1个副本的存放位置。
（2） 第2个副本被放置在与第1个副本不同的机架的数据节点上。
（3） 第3个副本会被放置在与第1个副本相同的机架的其他节点上。
（4） 如果还有更多的副本、则继续从集群中随机选择数据节点进行存放。
读取策略
客户端请求名称节点获取文件块不同副本的存储位置，由客户端确定从哪里获取文件块。
数据复制
文件在客户端被切分成多个块，名称节点返回数据节点列表。
客户端向一个数据节点写入，同时把数据节点列表传给第一个数据节点，当第一个节点接收数据大小4KB时并像列表第二个数据接待你发起写请求，将数据写入第二个数据节点、当第二个数据节点接收到4KB时向第三个数据节点执行类似操作。最后当文件写完时，数据的复制也同时完成了。
名称节点出错补救方案
一：远程挂载到NFS上
二:运行一个第二名称节点，能够进行有限的补救(第二名称节点中由FsImage和EditLog),但还是会可能遗失拉去FsImage和EditLog后，名称节点的一系列操作。
数据节点出错补救方案
数据节点定期向名称节点发起”心跳“，没有”心跳”时，名称节点不再向其分配读写任务，且一旦发现某些块的复制因子小了，名称节点又会安排任务，进行文件块复制。
数据出错
客户端采用MD5和SHA-1校验，出错将向名称节点汇报，请求其他副本，名称节点也会定期检查块。
