栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Hadoop(一)

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Hadoop(一)

一、HDFS

一个HDFS集群包括一个NameNode和若干个DataNode(start-all.sh可以开启两个进程),NameNode是主节点,管理者,负责管理hdfs文件系统,具体包括namespace命名空间管理(即目录结构)和block管理。DateNode主要用来存储数据文件,hdfs将一个文件分割为一个个的block块,这些block块存储在一个或多个DataNode上。DataNode负责实际的底层的文件的读写。

如:客户端client程序发起了读hdfs上的某个文件的指令,namenode首先找到这个文件对应的block块,然后那么namenode告知client,这些block数据DataNode交互。存储在哪些DataNode上,之后client将直接和datanode交互。

HDFS是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间。

1、HDFS的本质是一个文件系统,特点是分布式,需要在多台机器启动多个NN,DN进程组成一个分布式系统。

2、HDFS不支持对一个文件的并发写入,也不支持对文件的随机修改,不支持存储小文件(存储小文件会降低NN的服务能力)

3、HDFS的块大小

1、块大小可以通过`hdfs-site.xml`中的`dfs.blocksize`进行配置
2、如果不配置,那么在hadoop1.x时,`dfs.blocksize=64M`,在hadoop2.x时,`dfs.blocksize=128M`

块大小不能太小:如果块太小,会降低NN的服务能力,在读取和上传一个大的文件时,带来额外的寻址时间消耗;
块大小不能太大:如果块太大,在一次上传时,如果发生异常,需要重新传输,造成网络IO资源的浪费,在随机读取某部分内容时,不够灵活。

二、 使用客户端操作hdfs

1、使用shell客户端

hadoop fs 命令 参数:既可以操作本地模式的HDFS,也可以操作分布式IDEHDFS
hdfs dfs 命令 参数:只操作分布式的HDFS

2、使用Java api

fileSysterm是使用java代码操作hdfs的api接口
文件操作

create 写文件
open 读取文件
delete 删除文件

目录操作

mkdirs 创建目录
delete 删除文件或目录
listStatus 列出目录的内容
getFileStatus 显示文件系统的目录和文件的元数据信息
getFileBlockLocations 显示文件存储位置

FileSystem:客户端的基类
LocalFileSystem:本地文件系统
DistributedFileSystem:分布式文件系统

具体的实现取决于配置文件的fs.defaultFS参数的配置。

Configuration:负责读取配置文件中的参数,保存到一个map中
 	默认configuration会读取类路径下8个配置文件

configuration.set(name,value):手动添加属性

Path:一个文件的路径
	Path.toString():输出文件的完整的URI(协议+路径)
	Path.getName():输出文件名
FileStatus:文件的状态(文件的属性信息)
	LocatedFileStatus:除了包含文件的属性信息,还包含文件所有块的位置信息(length、offest、hosts)
	FileSystem.listStatus (Path P)  |  FileSystem.getFileStatus (Path p)
三、文件的读写流程

1、写流程

1、启动服务端NN,DN进程,提供一个分布式文件系统客户端
2、由客户端向NN发送请求,请求上传一个文件,NN对请求进行合法性检查(权限、路径是否合法,路径是否已经存在)
3、如果合法,NN响应客户端允许上传
4、客户端根据自己设置的块大小,读取文件中第一块的内容,请求NN分配DN列表
5、NN参考客户端上传的文件的副本数,根据机架感知,返回对应的DN列表
6、客户端会请求举例最近的DN节点,再由DN列表中的每个DN节点都请求举例最近的DN节点,建立数据传输通道
7、通道建立完成,客户端将第一块的数据,封装为一个个packet,发送到通道的下一个节点
	通道的每一个DN节点在收到packet后,进行校验,校验合法,罗盘存储,将packet发送到下一个DN节点,回复客户端ack确认消息 
8、第一个块传输完成后,DN向NN上报块的信息,只要有一个DN节点上报块信息,NN就认为这个快已经传输完成,通道关闭,开始下一个块的传输
9、下一个快依次按照1-8流程传输
10、所有的块传输完成后,NN响应客户端传输完成,客户端关闭输出流

2、异常写流程

在写流程的时候,客户端每封装一个packet(64k),将packet存储到dataQuene队列中,在发送时,将dataQuene队列中的每一个packet依次发送到通道,packet在发送到通道后,会从dataQuene中移到ackQuene队列

一旦一个packet收到了所有dn节点回复的ack确认消息,ackQuene中的这个packet会被删除
如果在收到确认消息时,超时,此时只有中断传输,所有外部的packet,会立刻回滚到dataQuene,重新建立传输通道,只要有一个DN节点上报块信息,NN就认为这个快已经传输完成,通道关闭。

副本数如果暂时不满条件,之后NN会自动检查,维持副本数。

3、读流程

1、启动服务端NN,DN进程,提供一个分布式文件系统客户端
2、由客户端向NN发送请求,请求上传一个文件,NN对请求进行合法性检查(权限、路径是否合法,路径是否已经存在)
3、如果合法,NN响应客户端允许下载,同时返回当前下载文件的所有元数据信息(块的映射信息)
4、客户端根据返回的元数据信息,去每个对应的DN节点依照顺序依次下载每个块

4、机架感知
机架感知是为了保证副本在集群中的安全性

我们需要将节点放在不同的DN节点上,节点也需要一定的考量
可靠性,可用性,带宽消耗

第一个节点:
集群内部(优先考虑和客户端相同的节点作为第一个节点)
集群外部(选择资源丰富且不繁忙的节点作为第一个节点)
第二个节点:
第二个节点选择与第一个节点不同机架的其他节点
第三个节点:
与第二个相同机架相同的其他节点
第N个节点:
与前面节点不重复的其他节点

2.7.2的默认的机架感知策略:
	在本地机架挑选一个节点,保存第一个副本;如果本地机架没有DN节点,挑选距离本地机架最近的一个节点。
	在本地机架挑选另一个节点板,保存第二个副本;如果本地机架没有DN节点,挑选距离本地机架最近的一个节点。
	在其他机架选择一个节点,保存第三个副本。
四、NN的工作原理

1、NN 的作用

NN保存HDFS上所有文件的元数据
NN负责接收客户端的请求
NN负责接受DN上报的信息,给DN分配任务(维护副本数)

2、元数据的存储

fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息。
edits:操作日志文件,namenode启动后一些新增元信息日志。
fstime:保存最近一次checkpoint的时间

元数据存储在fsimge文件+edits文件中。
fsimage(元数据的快照文件)
edits(记录所有写操作的文件)
	fsimage文件的产生:
	1、第一次格式化NN时,此时会创建NN工作的目录,其次在目录中生成一个fsimage_000000000000文件
	2、当NN在启动时,NN会将所有的edits文件和fsimage文件加载到内存合并得到最新的元数据,将元数据持久化到磁盘生成最新的fsimage文件
	3、如果启用了2nn,2nn也会辅助NN合并元数据,会将合并后的元数据发送到NN。

	edits文件:
	NN 在启动之后,每次接受的写操作请求,都会将命令记录写到edits文件中。edits文件每间隔一定的时间和大小滚动。
	
	NN负责集群中所有客户端的请求和所有DN的请求;在一个集群中,通常NN需要一个高配置,保证NN可以及时处理客户端或DN的请求,一旦NN无法及时处理请求,HDFS就已经瘫痪。

五、DataNode

提供真实文件数据的存储服务。

文件块(block):最基本的存储单位。对于文件内容而言,一个文件的长度大小是size,那么从文件的0偏移开始,按照固定的大小,顺序对文件进行划分并编号,划分好的每一个块称一个Block。2.0以后HDFS默认Block大小是128MB,以一个256MB文件,共有256/128=2个Block.

hdfs-site.xml中dfs.blocksize属性

不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间

Replication。多复本。默认是三个。

hdfs-site.xml的dfs.replication属性
六、HDFS的Trash回收站

和Linux系统(桌面环境)的回收站设计一样,HDFS会为每一个用户创建一个回收站目录:/user/用户名/.Trash/,每一个被用户通过Shell删除的文件/目录,fs.trash.interval是在指在这个回收周期之内,文件实际上是被移动到trash的这个目录下面,而不是马上把数据删除掉。等到回收周期真正到了以后,hdfs才会将数据真正删除。默认的单位是分钟,1440分钟=60*24,刚好是一天。

配置:在每个节点(不仅仅是主节点)上添加配置 core-site.xml,增加如下内容


   fs.trash.interval
   1440

注意:如果删除的文件过大,超过回收站大小的话会提示删除失败,需要指定参数 -skipTrash

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/941221.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号