- 1 DataNode作用概述
- 2 DataNode工作机制
- 3 数据完整性
- 3.1 读取过程的完整性保障
- 3.2 DataNode的自省
DataNode：就是Slave。NameNode下达命令，DataNode执行实际的操作。
- 存储实际的数据块
- 执行数据块的读/写操作
- 一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。开启服务器后，在安全模式下，DataNode向NameNode注册
- NameNode返回注册成功信息
- DataNode返回块信息，在NameNode中fsimages文件的元数据中只有保存具体的块的ID，但是并没有保存这些块是在保存在哪个DataNode上，这个步骤就是用来解决这个问题，并且DataNode会定期（每6个小时）会自动上报一次这些信息到NameNode中，应该实际运行中，服务器往往很久关一次的
- DataNode之间也3秒完成一次“心跳”，也就是双向传递信息，DataNdde向NameNode传递当前的状态信息（正常运行还是异常），NameNode每次接到信息后，就会返回要求DataNode所需要做的工作,心跳是每3秒一次，如复制块数居到另一台机器，或删除某个数据块。如果超过10分钟30秒没有收到某个DataNode的心跳，则认为该节点不可用
如果定义超时时间为TimeOut，则超时时长的计算公式为:
TimeOut = 2 * dfs.namenode.heartbeat.recheck-interval + 10 * dfs.heartbeat.interval
而默认的dfs.namenode.heartbeat.recheck-interval 大小为5分钟，dfs.heartbeat.interval默认为3秒
可以通过hdfs-site.xml进行配置，其中dfs.namenode.heartbeat.recheck-interval的单位是毫秒，而dfs.heartbeat.interval的单位是秒
dfs.namenode.heartbeat.recheck-interval 300000 dfs-heartbeat.interval 3
通过管理页面的如下字段，表示二者通信的时间间隔，一般小于3s
- 集群中可安全加入或者退出一些机器
DataNode保证数据完整性的方法
3.1 读取过程的完整性保障- 当DataNode读取 Block的时候，它会计算CheckSum（校验和）
- 如果计算后的CheckSum，与 Block创建时值不一样，说明Block已经损坏
- Client发现Block损坏后就会去其他的服务器去读取该Block的副本
3.2 DataNode的自省常见的校验算法crc (32)、md5( 128)、sha1 ( 160)（数字表示校验的位数，校验的位数越大越准确）。DataNode在其文件创建后周期验证CheckSum
DataNode每隔一段时间进行检查数据块的及其校验和，当发现错误信息就进行清除，当定期上报Block信息的时候，NameNode会根据实际Block缺失的情况，命令其他DataNode创建到缺失副本的服务器中
