<1>Hadoop Disstributed File System
<2>是一个文件系统，通过一个目录树来定位文件，是分布式存储。
<3>适合一次写入，多次读取的场景
<1>高容错性
数据自动保存多个副本，通过增加副本的形式，提高容错性
<2>适合处理大数据场景
GB、TB、PB
能够处理百万规模以上的文件数量
<3>能够构建在廉价机器上
<1>不适合低延时数据访问
<2>无法高效的对大量小文件进行存储
会占用NameNode的大量内存在存储文件目录和块信息，NameNode的内存总是有限的
小文件的寻址时间会超过读取时间，违反了HDFS的设计目标
<3>不支持并发写入，文件随机修改
一个文件只能有一个写，不允许多个线程同时写
仅支持数据append ，不持支文件随机修改
- Master，主管，管理者管理HDFS的名称空间配置副本celve管理数据库（Block）映射信息处理客户端的读写请求
- Slave，执行实际的操作存储实际的数据库执行数据块的读写操作
- 文件切分，文件上传HDFS的时候，Client将文件切分成一个一个文件块与NameNode交互，获取文件的位置信息与NameNode交互，获取文件的位置信息与DataNode交互，读取或者写入数据Client提供一些命令管理HDFS，比如NameNode格式化Client可以通过一些命令访问HDFS，比如对HDFS增删改查操作
- 并非NameNode的热备，当NameNode宕机时，不能马上替换NameNode。辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode在紧急情况下，可辅助恢复NameNode
<1>默认128M。一般设置为128M或者256M。过dfs-default.xml的dfs.blocksizeh配置。
<2>文件块设置太小，会增加寻址时间，程序一直在找块的开始位置。
<3>文件块设置太大，从磁盘传输数据的时间会明显大于定位这个块开始位置的时间，会导致程序在处理这块数据时非常慢。
<4>HDFS块大小设置主要取决于磁盘传输速率。
hadoop fs 具体命令 hdfs dfs 具体命令2. 命令大全 上传相关
<1>本地剪切粘贴到HDFS
hadoop dfs -moveFromLocal ./shuguo.txt /sangguo
<2>本地复制粘贴到HDFS
hadoop dfs -copyFromLocal ./weiguo.txt /sangguo
等同于- copyFromLocal
hadoop dfs -put ./wuguo.txt /sangguo
<3>追加一个文件到已经存在的文件末尾
hadoop dfs -appendToFile liubei.txt /sanguo/shuguo.txt下载相关
<1>从HDFS拷贝到本地，
hadoop dfs -copyToLocal /sanguo/shuguo.txt ./
<2>等同于 – copyToLocal
hadoop dfs -get /sanguo/shuguo.txt ./
<3>下载时可以修改名字
hadoop dfs -get /sanguo/shuguo.txt ./shuguo2.txtHDFS直接操作
<1>ls
hadoop dfs -ls /sanguo
<2>cat
hadoop dfs -cat /sanguo/shuguo.txt
<3>新建文件夹
hadoop dfs -mkdir /jinguo
<4>复制 -cp
hadoop dfs -cp /sanguo/shuguo.txt /jinguo
<5>移动文件 -mv
hadoop dfs -mv /sanguo/weiguo.txt /jinguo
<6>显示一个文件末尾1kb的数据 -tail
hadoop dfs -tail /jinguo/shuguo.txt
<7>删除文件或者文件夹 -rm
hadoop dfs -rm /sanguo/shuguo.txt
<8>递归删除目录以及目录里边的文件 -rm -f
hadoop dfs -rm -r /sanguo
<9>统计文件夹的大小信息 -du
-s 总大小
hadoop dfs -du -s -h /jinguo
不带-s ，各个文件具体信息
hadoop dfs -du-h /jinguo
<10>设置HDFS中文件副本数量 -setrep
hadoop dfs -setrep 10 /jinguo/shuguo.txt
这里设置的副本只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量，因为目前只有三台机器，对多有3个副本，只有节点书增加到10台时，副本数才会达到10.
