1.下载hadoop镜像
docker pull sequenceiq/hadoop-docker:2.6.0
2.运行hadoop容器
docker run -i -t -p 50070:50070 -p 9000:9000 -p 8088:8088 -p 8040:8040 -p 8042:8042 -p 49707:49707 -p 50010:50010 -p 50075:50075 -p 50090:50090 sequenceiq/hadoop-docker:2.6.0 /etc/bootstrap.sh -bash
3.放行端口（如果是阿里或是腾讯云服务器要在安全组或是轻量应用服务器的防火墙放行端口，如果有用了宝塔要在安全那里放行）
4.访问
http://ip:50070
就会见到控制台
5.查看主机名和ip
1.主机名。 比如 abcd
2.内网ip. 比如 1.2.3.4
6.修改运行代码电脑上的host（根据 window，mac，linux 不同的文件存放)
window: C://Windows/System32/drivers/etc/host
mac: Macintosh HD/private/etc/host
linux: etc/host
因为涉及权限，可以把host另存为，修改完再覆盖
在host里面，在最后添加
部署了hadoop的电脑的外网ip 主机名(比如上面的abcd,如果不知道上面去上面图查看)
- 运行代码
HdfsClient.java
测试类
放在src/main/java目录里
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import java.util.Arrays;
public class HdfsClient {
private FileSystem fs;
@Before
public void init() throws URISyntaxException, IOException, InterruptedException {
// 连接的集群nn地址
URI uri = new URI("hdfs://部署hadoop外网ip:9000");
// 创建一个配置文件
Configuration configuration = new Configuration();
//configuration.set("dfs.client.use.datanode.hostname", "true");
//configuration.set("dfs.replication", "2");
// 用户
String user = "root";
//configuration.set("dfs.client.use.datanode.hostname", "true");
// 1 获取到了客户端对象
fs = FileSystem.get(uri, configuration, user);
}
@After
public void close() throws IOException {
// 3 关闭资源
fs.close();
}
// 创建目录
@Test
public void testmkdir() throws URISyntaxException, IOException, InterruptedException {
// 2 创建一个文件夹
fs.mkdirs(new Path("/xiyou/huaguoshan2"));
}
// 上传
@Test
public void testPut() throws IOException {
// 参数解读：参数一：表示删除原数据； 参数二：是否允许覆盖；参数三：原数据路径； 参数四：目的地路径
try {
fs.copyFromLocalFile(false, true, new Path("src/abc.png"), new Path("/xiyou/huaguoshan2/abc.png"));
} catch (Exception e) {
System.out.println("出错："+e.toString());
e.printStackTrace();
}
}
@Test
public void testPut2() throws IOException {
FSDataOutputStream fos = fs.create(new Path("/input"));
fos.write("hello world".getBytes());
}
// 文件下载
@Test
public void testGet() throws IOException {
// 参数的解读：参数一：原文件是否删除；参数二：原文件路径HDFS； 参数三：目标地址路径Win ; 参数四：
//fs.copyToLocalFile(true, new Path("hdfs://hadoop102/xiyou/huaguoshan/"), new Path("D:\"), true);
fs.copyToLocalFile(false, new Path("/input"), new Path("/"), false);
}
// 删除
@Test
public void testRm() throws IOException {
// 参数解读：参数1：要删除的路径； 参数2 ： 是否递归删除
// 删除文件
fs.delete(new Path("/output"), false);
// 删除空目录
//fs.delete(new Path("/xiyou"), false);
// 删除非空目录
//fs.delete(new Path("/jinguo"), true);
}
// 文件的更名和移动
@Test
public void testmv() throws IOException {
// 参数解读：参数1 ：原文件路径； 参数2 ：目标文件路径
// 对文件名称的修改
//fs.rename(new Path("/input/word.txt"), new Path("/input/ss.txt"));
// 文件的移动和更名
//fs.rename(new Path("/input/ss.txt"),new Path("/cls.txt"));
// 目录更名
fs.rename(new Path("/input"), new Path("/output"));
}
// 获取文件详细信息
@Test
public void fileDetail() throws IOException {
// 获取所有文件信息
RemoteIterator listFiles = fs.listFiles(new Path("/"), true);
// 遍历文件
while (listFiles.hasNext()) {
LocatedFileStatus fileStatus = listFiles.next();
System.out.println("==========" + fileStatus.getPath() + "=========");
System.out.println(fileStatus.getPermission());
System.out.println(fileStatus.getOwner());
System.out.println(fileStatus.getGroup());
System.out.println(fileStatus.getLen());
System.out.println(fileStatus.getModificationTime());
System.out.println(fileStatus.getReplication());
System.out.println(fileStatus.getBlockSize());
System.out.println(fileStatus.getPath().getName());
// 获取块信息
BlockLocation[] blockLocations = fileStatus.getBlockLocations();
System.out.println(Arrays.toString(blockLocations));
}
}
// 判断是文件夹还是文件
@Test
public void testFile() throws IOException {
FileStatus[] listStatus = fs.listStatus(new Path("/"));
for (FileStatus status : listStatus) {
if (status.isFile()) {
System.out.println("文件：" + status.getPath().getName());
} else {
System.out.println("目录：" + status.getPath().getName());
}
}
}
}
hdfs-site.xml
配置文件
放在src/main/resources里
dfs.replication 1 dfs.client.use.datanode.hostname true
pom,xml
org.apache.hadoop hadoop-client 3.1.3 org.apache.hadoop hadoop-hdfs 3.1.3 org.apache.hadoop hadoop-hdfs-client 3.1.3 provided junit junit 4.12
关于测试上传文件
sunwukong.txt
abc.png
(随便新建)
放在src下即可
测试上传、下载、查看 、一切都正常
1.关于访问50070控制台Browse Directory，下载文件存在的问题
一定要在host添加 外网ip和主机名 对应。（可以看上面）
2.关于上传文件报错
一定要在host添加 外网ip和主机名 对应。（可以看上面）
