- 1 概述
- 2 创建归档文件
- 3 查看归档文件
- 4 解归档文件
- HDFS存储小文件弊端
每个文件均按块存储，每个块的元数据存储在NameNode的内存中，因此HDFS存储小文件会非常低效。因为大量的小文件会耗尽NameNode中的大部分内存
注意，存储小文件所需要的磁盘容量和数据块的大小无关。例如，一个1MB的文件设置为128MB的块存储，实际使用的是1MB的磁盘空间，而不是128MB
- 解决存储小文件办法之一
HDFS存档文件或HAR文件，是一个更高效的文件存档工具，它将文件存入HDFS块，在减少NameNode内存使用的同时，允许对文件进行透明的访问。具体说来，HDFS存档文件对内还是一个一个独立文件，对NameNode而言却是一个整体，减少了NameNode的内存
在启动yarn的前提下进行一下实例操作
把/input目录里面的所有文件归档成一个叫input.har的归档文件，并把归档后文件存储到/output 路径下，在NameNode所在服务器执行以下命令
hadoop archive -archiveName 指定归档文件的文件名 -p 需要归档的目录 归档文件的输出目录 hadoop archive -archiveName input.har -p /input /output
3 查看归档文件-p表示递归归档
输出的目录可以不存在，如果不存在会自动创建
使用har协议方式，注意是///。具体看个人打包结果替换一下文件
hadoop fs -ls har:///output/input.har4 解归档文件
解析后可以得到被归档的文件，注意/input.har/*下的*。具体看个人打包结果替换一下文件
hadoop fs -cp har:///output/input.har/* /wcinput
