一个HDFS集群包括一个NameNode和若干个DataNode(start-all.sh可以开启两个进程),NameNode是主节点,管理者,负责管理hdfs文件系统,具体包括namespace命名空间管理(即目录结构)和block管理。DateNode主要用来存储数据文件,hdfs将一个文件分割为一个个的block块,这些block块存储在一个或多个DataNode上。DataNode负责实际的底层的文件的读写。
如:客户端client程序发起了读hdfs上的某个文件的指令,namenode首先找到这个文件对应的block块,然后那么namenode告知client,这些block数据DataNode交互。存储在哪些DataNode上,之后client将直接和datanode交互。
HDFS是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间。
1、HDFS的本质是一个文件系统,特点是分布式,需要在多台机器启动多个NN,DN进程组成一个分布式系统。
2、HDFS不支持对一个文件的并发写入,也不支持对文件的随机修改,不支持存储小文件(存储小文件会降低NN的服务能力)
3、HDFS的块大小
1、块大小可以通过`hdfs-site.xml`中的`dfs.blocksize`进行配置 2、如果不配置,那么在hadoop1.x时,`dfs.blocksize=64M`,在hadoop2.x时,`dfs.blocksize=128M`
块大小不能太小:如果块太小,会降低NN的服务能力,在读取和上传一个大的文件时,带来额外的寻址时间消耗;
块大小不能太大:如果块太大,在一次上传时,如果发生异常,需要重新传输,造成网络IO资源的浪费,在随机读取某部分内容时,不够灵活。
1、使用shell客户端
hadoop fs 命令 参数:既可以操作本地模式的HDFS,也可以操作分布式IDEHDFS hdfs dfs 命令 参数:只操作分布式的HDFS
2、使用Java api
fileSysterm是使用java代码操作hdfs的api接口
文件操作
create 写文件 open 读取文件 delete 删除文件
目录操作
mkdirs 创建目录 delete 删除文件或目录 listStatus 列出目录的内容 getFileStatus 显示文件系统的目录和文件的元数据信息 getFileBlockLocations 显示文件存储位置
FileSystem:客户端的基类
LocalFileSystem:本地文件系统
DistributedFileSystem:分布式文件系统
具体的实现取决于配置文件的fs.defaultFS参数的配置。
Configuration:负责读取配置文件中的参数,保存到一个map中 默认configuration会读取类路径下8个配置文件
configuration.set(name,value):手动添加属性
Path:一个文件的路径 Path.toString():输出文件的完整的URI(协议+路径) Path.getName():输出文件名
FileStatus:文件的状态(文件的属性信息) LocatedFileStatus:除了包含文件的属性信息,还包含文件所有块的位置信息(length、offest、hosts) FileSystem.listStatus (Path P) | FileSystem.getFileStatus (Path p)三、文件的读写流程
1、写流程
1、启动服务端NN,DN进程,提供一个分布式文件系统客户端 2、由客户端向NN发送请求,请求上传一个文件,NN对请求进行合法性检查(权限、路径是否合法,路径是否已经存在) 3、如果合法,NN响应客户端允许上传 4、客户端根据自己设置的块大小,读取文件中第一块的内容,请求NN分配DN列表 5、NN参考客户端上传的文件的副本数,根据机架感知,返回对应的DN列表 6、客户端会请求举例最近的DN节点,再由DN列表中的每个DN节点都请求举例最近的DN节点,建立数据传输通道 7、通道建立完成,客户端将第一块的数据,封装为一个个packet,发送到通道的下一个节点 通道的每一个DN节点在收到packet后,进行校验,校验合法,罗盘存储,将packet发送到下一个DN节点,回复客户端ack确认消息 8、第一个块传输完成后,DN向NN上报块的信息,只要有一个DN节点上报块信息,NN就认为这个快已经传输完成,通道关闭,开始下一个块的传输 9、下一个快依次按照1-8流程传输 10、所有的块传输完成后,NN响应客户端传输完成,客户端关闭输出流
2、异常写流程
在写流程的时候,客户端每封装一个packet(64k),将packet存储到dataQuene队列中,在发送时,将dataQuene队列中的每一个packet依次发送到通道,packet在发送到通道后,会从dataQuene中移到ackQuene队列 一旦一个packet收到了所有dn节点回复的ack确认消息,ackQuene中的这个packet会被删除 如果在收到确认消息时,超时,此时只有中断传输,所有外部的packet,会立刻回滚到dataQuene,重新建立传输通道,只要有一个DN节点上报块信息,NN就认为这个快已经传输完成,通道关闭。 副本数如果暂时不满条件,之后NN会自动检查,维持副本数。
3、读流程
1、启动服务端NN,DN进程,提供一个分布式文件系统客户端 2、由客户端向NN发送请求,请求上传一个文件,NN对请求进行合法性检查(权限、路径是否合法,路径是否已经存在) 3、如果合法,NN响应客户端允许下载,同时返回当前下载文件的所有元数据信息(块的映射信息) 4、客户端根据返回的元数据信息,去每个对应的DN节点依照顺序依次下载每个块
4、机架感知
机架感知是为了保证副本在集群中的安全性
我们需要将节点放在不同的DN节点上,节点也需要一定的考量
可靠性,可用性,带宽消耗
第一个节点:
集群内部(优先考虑和客户端相同的节点作为第一个节点)
集群外部(选择资源丰富且不繁忙的节点作为第一个节点)
第二个节点:
第二个节点选择与第一个节点不同机架的其他节点
第三个节点:
与第二个相同机架相同的其他节点
第N个节点:
与前面节点不重复的其他节点
2.7.2的默认的机架感知策略: 在本地机架挑选一个节点,保存第一个副本;如果本地机架没有DN节点,挑选距离本地机架最近的一个节点。 在本地机架挑选另一个节点板,保存第二个副本;如果本地机架没有DN节点,挑选距离本地机架最近的一个节点。 在其他机架选择一个节点,保存第三个副本。四、NN的工作原理
1、NN 的作用
NN保存HDFS上所有文件的元数据 NN负责接收客户端的请求 NN负责接受DN上报的信息,给DN分配任务(维护副本数)
2、元数据的存储
fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息。
edits:操作日志文件,namenode启动后一些新增元信息日志。
fstime:保存最近一次checkpoint的时间
元数据存储在fsimge文件+edits文件中。 fsimage(元数据的快照文件) edits(记录所有写操作的文件) fsimage文件的产生: 1、第一次格式化NN时,此时会创建NN工作的目录,其次在目录中生成一个fsimage_000000000000文件 2、当NN在启动时,NN会将所有的edits文件和fsimage文件加载到内存合并得到最新的元数据,将元数据持久化到磁盘生成最新的fsimage文件 3、如果启用了2nn,2nn也会辅助NN合并元数据,会将合并后的元数据发送到NN。 edits文件: NN 在启动之后,每次接受的写操作请求,都会将命令记录写到edits文件中。edits文件每间隔一定的时间和大小滚动。 NN负责集群中所有客户端的请求和所有DN的请求;在一个集群中,通常NN需要一个高配置,保证NN可以及时处理客户端或DN的请求,一旦NN无法及时处理请求,HDFS就已经瘫痪。五、DataNode
提供真实文件数据的存储服务。
文件块(block):最基本的存储单位。对于文件内容而言,一个文件的长度大小是size,那么从文件的0偏移开始,按照固定的大小,顺序对文件进行划分并编号,划分好的每一个块称一个Block。2.0以后HDFS默认Block大小是128MB,以一个256MB文件,共有256/128=2个Block.
hdfs-site.xml中dfs.blocksize属性
不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间
Replication。多复本。默认是三个。
hdfs-site.xml的dfs.replication属性六、HDFS的Trash回收站
和Linux系统(桌面环境)的回收站设计一样,HDFS会为每一个用户创建一个回收站目录:/user/用户名/.Trash/,每一个被用户通过Shell删除的文件/目录,fs.trash.interval是在指在这个回收周期之内,文件实际上是被移动到trash的这个目录下面,而不是马上把数据删除掉。等到回收周期真正到了以后,hdfs才会将数据真正删除。默认的单位是分钟,1440分钟=60*24,刚好是一天。
配置:在每个节点(不仅仅是主节点)上添加配置 core-site.xml,增加如下内容
fs.trash.interval 1440
注意:如果删除的文件过大,超过回收站大小的话会提示删除失败,需要指定参数 -skipTrash



