NameNode+DataNode+Client+Secondary NameNode
NameNode：主管。
1）管理HDFS命名空间
2）配置副本策略
3）管理数据块Block映射信息
4）处理客户端读写请求
DataNode：执行实际的操作。
1）存储实际的数据块
2）执行数据块的读写操作
Client：客户端。
1）文件切分。文件上传HDFS时候，Client将文件分成多个Block，然后上传
2）与NameNode交互，获取文件的位置信息
3）与DataNode交互，读取或写入数据
4）提供命令来管理HDFS
5）通过命令访问HDFS
Secondary NameNode：辅助NameNode。
1）分担NameNode工作量，如定期合并fsimage和edits，并推送给NameNode
2）辅助回复NameNode
1）Client通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已经存在，父目录是否存在
2）NameNode返回是否可以上传
3）客户端请求第一个 Block上传到哪几个DataNode服务器上
4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3
5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成
6）dn1、dn2、dn3逐级应答客户端
7）客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答
8）当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。（重复执行3-7步）
1）客户端通过DistributedFileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。
2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。
3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。
4）客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。
NameNode的元数据若存储在磁盘，速度慢效率过低；若放在内存中，断电后数据丢失，不安全。因此引出FsImage在磁盘中备份元数据。
但是内存中的元数据更新时，要同时更新FsImage，效率过低，不更新的话又会产生数据一致性问题，并且NameNode若断电，造成数据丢失。
因此引出Edits来记录操作日志，每当元数据有更新或者添加时，修改内存中的元数据并追加到Edits中，NameNode若断电，可通过FsImage和Edits合并，合成元数据。
但有一个新的问题，若文件数据较大，合并恢复数据时需要大量时间，不能由单个NameNode来完成，因此产生SecondaryNameNode，专门用于合并FsImage和Edits。
1）第一阶段：NameNode启动
（1）第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。
（2）客户端对元数据进行增删改的请求。
（3）NameNode记录操作日志，更新滚动日志。
（4）NameNode在内存中对元数据进行增删改。
2）第二阶段：Secondary NameNode工作
（1）Secondary NameNode询问NameNode是否需要CheckPoint（检查点）。直接带回NameNode是否检查结果。
（2）Secondary NameNode请求执行CheckPoint。
（3）NameNode滚动正在写的Edits日志。
（4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
（5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。
（6）生成新的镜像文件fsimage.chkpoint。
（7）拷贝fsimage.chkpoint到NameNode。
（8）NameNode将fsimage.chkpoint重新命名成fsimage。
（1）当DataNode读取Block的时候，它会计算CheckSum。
（2）如果计算后的CheckSum，与Block创建时值不一样，说明Block已经损坏。
（3）Client读取其他DataNode上的Block。
（4）常见的校验算法crc（32），md5（128），sha1（160）
（5）DataNode在其文件创建后周期验证CheckSum。
