多台服务器存储其中 一部分
HDFS不能进行修改，上传来的文件只能追加
每个文件块占150字节，内存128G，算下来能存9亿个文件
namenode管理谁在什么位置，块的存储信息，处理客户端读写请求
2nn并非namenode热备，当namenode宕机后，并不能马上替换namenode服务。只是辅助namenode，分担工作量，定期 合并fsimage和edits
默认配置在HDFS-default里，128M
寻址时间为传输时间的1%，就是最佳状态，为什么是128M，因为1秒能传输的数据，普通硬盘算下来差不多就是100MB/S,如果速度快，可以设置256M
命令跟linux相近
首先需要把集群启动起来
可以查看具体命令如何使用
创建一个文件
本地上传到HDFS，
move代表剪切，本地文件会消失
copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去
put：等同于copyFromLocal，生产环境更习惯用put
appendToFile：追加一个文件到已经存在的文件末尾，HDFS不能随机修改，只能在文件末尾修改
-copyToLocal：从HDFS拷贝到本地
get：等同于copyToLocal，生产环境更习惯用get，下载的时候可以改个名字
cat查看文件
-chgrp、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限
mkdir：创建路径
cp：从HDFS的一个路径拷贝到HDFS的另一个路径
mv：在HDFS目录中移动文件
tail：显示一个文件的末尾1kb的数据
-rm：删除文件或文件夹
-rm -r：递归删除目录及目录里面内容
-du统计文件夹的大小信息,27b大小，有三个副本，总大小就是81
**-setrep：设置HDFS中文件的副本数量，节点只有3个的时候，配置10个副本，那么后面加入节点会自动新增一个副本，3个节点最多3个副本 **
副本策略是 距离最近
API操作
P55 HDFS写数据流程HDFS客户端要传文件，需要是分布式的文件系统 类型，因为HDFS客户端有很多类型。
发送数据的时候，传送的是一个个packet对象，，另外还会从内存中拷贝一份 做ack机制，当节点 应答不成功 ，再从ack传一份过去
在判断数据写到具体哪个节点的时候，首要考虑节点距离再负载均衡
节点距离：两个节点到达最近的共同祖先的距离总和。
客户端要写数据，请求给namenode，namenode根据什么返回写多少个节点
机架感知（副本存储节点选择）
1）机架感知说明
（1）官方说明
http://hadoop.apache.org/docs/r3.1.3/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_Replication
（2）源码说明
Crtl + n 查找BlockPlacementPolicyDefault，在该类中查找chooseTargetInOrder方法。
选择目标节点
0代表第一个副本，选择本地
第二个选择remoterack
HDFS客户端创建一个分布式文件系统对象和namenode交涉读取数据，namenode判断 权限，返回目标文件的 元数据信息。
客户端创建FSdataINPutstream流数据对象，去读数据，去距离最近的datanode1读数，假如datanode1负载已经满了，将请求转发给datanode2.
数据块是串行读，读完一块读 下一块
edit不修改，只追数据
镜像文件 数据+edits相关追加操作=内存，服务器一启动就会将这些数据加载到内存，服务器关机就 会将镜像文件和edits合并。
2nn也会定期合并数据
namenode下就有镜像和edits文件
2nn也有
namenode这个inprogress是记录新的操作，2nn是没有的
namenode和datanode集群版本id是一致的
16386 DIRECTORY user 1512722284477 atguigu:supergroup:rwxr-xr-x -1 -1 16387 DIRECTORY atguigu 1512790549080 atguigu:supergroup:rwxr-xr-x -1 -1 16389 FILE wc.input 3 1512722322219 1512722321610 134217728 atguigu:supergroup:rw-r--r-- 1073741825 1001 59
这里 记录了所有文件存储的信息
父节点和子节点，仿照目录
namenode不会存储文件的块具体放在那里，而是datanode主动汇报
-63 OP_START_LOG_SEGMENT 129 OP_ADD 130 0 16407 /hello7.txt 2 1512943607866 1512943607866 134217728 DFSClient_NONMAPREDUCE_-1544295051_1 192.168.10.102 true atguigu supergroup 420 908eafd4-9aec-4288-96f1-e8011d181561 0 OP_ALLOCATE_BLOCK_ID 131 1073741839 OP_SET_GENSTAMP_V2 132 1016 OP_ADD_BLOCK 133 /hello7.txt 1073741839 0 1016 -2 OP_CLOSE 134 0 0 /hello7.txt 2 1512943608761 1512943607866 134217728 false 1073741839 25 1016 atguigu supergroup 420
查看 edits，只进行修改，不进行合并修改
meta存储的是块相关的校验和其他信息，上一个是真实的存储的数据
datanode启动后会主动 向namenode回报自己有哪些块信息，namenode收到消息，确认datanode注册成功，datanode每周期上报所有块信息，namenode每三秒发一次心跳
（3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。
（4）集群运行中可以安全加入和退出一些机器。
1个数加起来是偶数就为0，奇数就为1，传输过程中有可能数据出现问题
做一个简单文件上传到hdfs
下载到D盘，开启校验
16机制查看，会有一个crc校验码
3秒一次心跳，10次正好30秒
把104关闭
仍然是绿色，显示正常运行，但是通信时间超过6秒了
超过10+30秒就挂掉了
恢复节点
现在节点就恢复了
