Linux下安装好Hadoop2.7.3
Windows下安装好Maven
Windows系统下安装好idea
idea配置好Maven
新建好Maven工程
新建一个HDFS包并创建App类
修改pom.xml添加Hadoop依赖
在前一行添加如下语句：
没有 就创建一个
org.apache.hadoop hadoop-common 2.7.3 org.apache.hadoop hadoop-hdfs 2.7.3
如果出现hadoop包不能引入则再加入
jdk.tools jdk.tools 1.8 system ${JAVA_HOME}/lib/tools.jar
App类添加代码
package com.test.HelloWorld;
public class App {
public static void main(String[] args) {
System.out.println("hello world");
}
}
测试App包能不能正常运行
开始HDFS API编程 1.读取HDFS文件新建ReadFile.java
添加代码
package com.test.HDFS;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
public class ReadFile {
public static void main(String[] args) throws IOException {
//创建Configuration实例
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://192.168.91.128:8020");//注意修改成Linux的IP
//通过配置获取到文件系统
FileSystem fs = FileSystem.get(conf);
//定义要读取文件所在的HDFS路径
Path src=new Path("hdfs://192.168.91.128:8020/file.txt");//注意修改成Linux的IP
//通过文件系统的open()方法得到一个文件输入流，用于读取
FSDataInputStream dis = fs.open(src);
//用IOUtils下的copyBytes将流中的数据打印输出到控制台
IOUtils.copyBytes(dis, System.out, conf);
//关闭输入流
dis.close();
}
}
注意：192.168.134.128修改成自己Linux的IP
运行程序之前，先新建出测试文件：file.txt
$ vim file.txt
内容为:
Hello Hadoop Hello HDFS：wq
上传file.txt到HDFS /目录下
$ hdfs dfs -put file.txt /
查看是否上传成功
$ hdfs dfs -ls /
运行：
红色的log4j只是警告，不影响我们读取HDFS文件，可以先不处理它。
以上程序完成了读取HDFS文件内容，接下来可以做的是：通过API完成文件的写入、文件的上传、下载等等！
文件创建与写入新建类
CreateFile.java
代码：
package com.test.HDFS;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.fs.*;
import java.net.URI;
public class CreateFile {
public static void main(String[] args) throws Exception{
Configuration conf=new Configuration();
//注意修改为自己的IP
URI uri=new URI("hdfs://192.168.134.128:8020");
//get()的第三个参数"hadoop"为Linux的用户名，注意修改
FileSystem fs=FileSystem.get(uri,conf,"hadoop");
//定义一个要创建文件的路径
Path dfs=new Path("/user/hadoop/1.txt");
FSDataOutputStream fos=fs.create(dfs,true);
//写入的内容
fos.writeBytes("hello hdfsn");//不支持中文
fos.writeUTF("你好啊！n");// 支持中文
//关闭流
fos.close();
}
}
运行
查看文件
hdfs dfs -ls /
命令查看
hdfs dfs -cat /user/hadoop/1.txt
成功创建与写入
新建类
DeleteFile.java
代码：
package com.test.HDFS;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class DeleteFile {
public static void main(String[] args) throws Exception {
Configuration conf=new Configuration();
//注意修改为自己的IP
URI uri=new URI("hdfs://192.168.91.128:8020");
FileSystem fs=FileSystem.get(uri,conf,"hadoop");
//HDFS file
Path path=new Path("/user/hadoop/1.txt");
fs.delete(path,true);
}
}
运行：
查看是否删除成功
hdfs dfs -ls /user/hadoop/
文件为空
新建类
UploadFile.java
代码：
package com.test.HDFS;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.fs.*;
import java.net.URI;
public class UploadFile {
public static void main(String[] args) throws Exception{
Configuration conf=new Configuration();
//注意修改为自己的IP
URI uri=new URI("hdfs://192.168.91.128:8020");
FileSystem fs=FileSystem.get(uri,conf,"hadoop");
//local file
Path src=new Path("F:/2.txt");//这里写的是Windows系统下的文件路径，注意按实际修改。
//HDFS file
//上传到目的地路径，可以自定义, hdfs的/user/hadoop目录需要先用命令创建出来
Path dst=new Path("/user/hadoop");
fs.copyFromLocalFile(src,dst);
}
}
在相应文件位置找到路劲文件
eg：
对应
运行
查看
hdfs dfs -ls /user/hadoop/文件的下载
新建类
DownloadFile.java
代码：
package com.test.HDFS;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.fs.*;
import java.net.URI;
public class DownloadFile {
public static void main(String[] args) throws Exception{
Configuration conf=new Configuration();
URI uri=new URI("hdfs://192.168.91.128:8020");
FileSystem fs=FileSystem.get(uri,conf,"hadoop");
//HDFS文件:"/2.txt"为hdfs的文件，如果没有该文件请从Linux上传一个文件到HDFS.
Path src=new Path("/user/hadoop/2.txt");
//local文件位置：需要先在Windows D盘创建一个test文件夹存放下载的文件
Path dst=new Path("F:/test");
//从HDFS下载文件到本地
fs.copyToLocalFile(false,src,dst,true);
}
}
先创建文件夹
运行结果
查看F:/test下是否有文件/user/hadoop/中的文件2.txt
新建类
FileAttr.java
代码：
package com.test.HDFS;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.fs.*;
import java.net.URI;
import java.sql.Date;
import java.text.SimpleDateFormat;
public class FileAttr {
public static void main(String[] args) throws Exception {
Configuration conf=new Configuration();
URI uri=new URI("hdfs://192.168.91.128:8020");
FileSystem fs=FileSystem.get(uri,conf,"hadoop");
//locate file 文件位置
Path fpath=new Path("/user/hadoop/2.txt");
FileStatus filestatus=fs.getFilelinkStatus(fpath);
//get block size 获取文件块大小
long blocksize=filestatus.getBlockSize();
System.out.println("blocksize:"+blocksize);
//get file size 获取文件大小
long filesize=filestatus.getLen();
System.out.println("filesize:"+filesize);
//get file owner 获取文件所属者
String fileowner=filestatus.getOwner();
System.out.println("fileowner:"+fileowner);
//get file access time 获取文件存取时间
SimpleDateFormat formatter=new SimpleDateFormat("yyyy-mm-dd hh:mm:ss");
long accessTime=filestatus.getAccessTime();
System.out.println("access time:"+formatter.format(new Date(accessTime)));
//get file modify time 获取文件修改时间
long modifyTime=filestatus.getModificationTime();
System.out.println("modify time:"+formatter.format(new Date(modifyTime)));
}
}
运行结果
完成！ enjoy it!
