HDFS是一个文件系统（Hadoop document File System），通过目录树来定位文件。其次，它是分布式的。
HDFS适用于：一次写入，多次读出的场景。
HDFS通过多种方式，实现了高容错性、可靠性、适合处理大数据
HDFS缺点：
1.不适合低延时的数据访问。
2.无法高效的对大量小文件进行存储
（占用过多NameNode的内存用于存储文件目录和块信息）
3.不支持并发写入，文件随机修改。（比较适用Append，追加数据）
HDFS架构：NameNode（nn）:作为主管。
- 管理HDFS的名称空间
- 配置副本策略
- 管理数据块的映射
- 处理客户端请求
DataNode（dn）：作为小弟
- 储存实际的数据块
- 进行数据块的读写操作
Client：客户端
- 切分文件，文件上传到HDFS时，Client将其切分成Block，再进行上传。
- 与NN交互，获取文件的位置信息。
- 与DN交互，读写数据
- 管理HDFS
- 访问HDFS，对其CRUD
SecondaryNameNode（2nn）：秘书+备用 但是2nn并不是时时刻刻保持着备用状态，当nn宕机时，2nn不是立即替换NameNode进行服务的。
- 辅助nn，分担工作了，定期合并Fsimage和Edits
- 辅助恢复nn（当nn宕机）
HDFS文件块大小。在Hadoop2.x/3.x中默认是128M。那么为什么？
因为在集群中，寻址的时间大概是10ms，而当寻址时间是传输时间的1%时，状态最佳。
此时传输数据的时间大约为1s。而目前硬盘的刷新速度，若是固态，我们可以把block设置为256M，若是一般硬盘，则为128M。（1s刷一个block，即设置block的大小取决于硬盘的传输速度）。
如果HDFS设置的block大小太小，会提高寻址时间。若太大，处理该块数据会太慢。
HDFS的Shell操作：hadoop fs 具体命令 hdfs dfs 具体命令
[root@Hadoop-1 hadoop-3.1.3]$ bin/hadoop fs
[-appendToFile ... ] //追加文件信息
[-cat [-ignoreCrc] ...] //忽略crc认证查看文件信息
[-chgrp [-R] GROUP PATH...] //换group
[-chmod [-R] PATH...] 同Linux命令
[-chown [-R] [OWNER][:[GROUP]] PATH...]
[-copyFromLocal [-f] [-p] ... ] //上传文件（从本地）
[-copyToLocal [-p] [-ignoreCrc] [-crc] ... ] //下载
[-count [-q] ...]
[-cp [-f] [-p] ... ]
[-df [-h] [ ...]]
[-du [-s] [-h] ...] //统计文件夹大小
[-get [-p] [-ignoreCrc] [-crc] ... ] //下载
[-getmerge [-nl] ]
[-help [cmd ...]]
[-ls [-d] [-h] [-R] [ ...]]
[-mkdir [-p] ...]
[-moveFromLocal ... ] //移动（删除源文件）上传
[-moveToLocal ] //移动下载
[-mv ... ] //移动
[-put [-f] [-p] ... ] //上传
[-rm [-f] [-r|-R] [-skipTrash] ...]
[-rmdir [--ignore-fail-on-non-empty] ...]
]]
[-setrep [-R] [-w] ...] //设置副本数量
[-stat [format] ...] //查看状态
[-tail [-f] ] //查看文件的末尾1kb数据
HDFS的API操作。
在Windows中配置Hadoop的环境变量。HADOOP_HOME以及Path
创建一个Maven工程（若不会使用Maven就直接用默认设置即可）
在pom.xml中导入相应的依赖坐标和日志添加。（类似需要的jar包，需联网下载）
org.apache.hadoop hadoop-client3.1.3 junit junit4.12 org.slf4j slf4j-log4j121.7.30
在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入
log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n log4j.appender.logfile=org.apache.log4j.FileAppender log4j.appender.logfile.File=target/spring.log log4j.appender.logfile.layout=org.apache.log4j.PatternLayout log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
之后便可以使用HDFS的API了。新建包，创建我们的Client类。
实现客户端代码常用套路 1.获取一个客户端对象 2.执行相关的操作指令 3.关闭 * HDFS 和Zookeeper都类似。
下面展示常用的一些api
package com.zc.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.yarn.webapp.hamlet2.Hamlet;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import java.util.Arrays;
public class HdfsClient {
private FileSystem fs;
@Before
public void init() throws IOException, InterruptedException, URISyntaxException {
//连接的集群nn地址
URI uri = new URI("hdfs://Hadoop-1:8020");//8020是内部通讯端口，9870是用户访问端口
//创建一个配置文件
Configuration configuration = new Configuration();
// configuration.set("dfs.replication","2");//最高优先级
String user ="root";
//获取客户端对象
fs = FileSystem.get(uri, configuration,user);
}
@After
public void close() throws IOException {
fs.close();
}
@Test
public void testmkdir() throws URISyntaxException, IOException, InterruptedException {
fs.mkdirs(new Path("/xiyou/huaguoshan"));
}
@Test//上传数据
public void testPut() throws IOException {
//参数解读：是否删除原数据，Override（覆盖？），原路径，目标路径
fs.copyFromLocalFile(false ,false,new Path("E:\HDFS\sunwuk.txt"),new Path("/xiyou/sunwukong.txt"));
}
@Test//下载数据
public void testGet() throws IOException {
// boolean useRawLocalFileSystem 是否开启文件校验
//传递下来的crc 用于校验
fs.copyToLocalFile(false,new Path("/xiyou/huaguoshan1/sunwuk.txt"),new Path("E:\HDFS\"));
}
@Test
public void testRm() throws IOException {
//后面的这个boolean是判断其是否需要递归删除
//如果要删除的路径是一个文件，参数recursive 是true还是false都行
//如果要删除的路径是一个目录，参数recursive 开启true就是递归删除，如果填false，而下级目录还有文件，就会报错。
fs.delete(new Path("/xiyou/huaguoshan"),true);
}
@Test//rename默认删除源文件，所以可以用于更名 也可以用于move
public void testRename() throws IOException {
fs.rename(new Path("/xiyou/sunwukong.txt"),new Path("/xiyou/swk.txt"));
}
//查看文件详情信息
@Test
public void testListFiles() throws IOException {
RemoteIterator iterator = fs.listFiles(new Path("/"), true);
while (iterator.hasNext()){
LocatedFileStatus file = iterator.next();
System.out.println("========" + file.getPath() + "=========");
System.out.println(file.getPermission());
System.out.println(file.getOwner());
System.out.println(file.getGroup());
System.out.println(file.getLen());
System.out.println(file.getModificationTime());
System.out.println(file.getReplication());
System.out.println(file.getBlockSize());
System.out.println(file.getPath().getName());
// 获取块信息
BlockLocation[] blockLocations = file.getBlockLocations();
System.out.println(Arrays.toString(blockLocations));
}
}
@Test
public void testFileStatus() throws IOException {
FileStatus[] fileStatuse = fs.listStatus(new Path("/"));
for (FileStatus file : fileStatuse) {
if (file.isFile()){
System.out.println("File:"+file.getPath().getName());
}else {
System.out.println("document:"+file.getPath().getName());
}
}
}
}
