JAVA API实现HDFS操作（一）获取FileSystem

说明：本文对Java API实现HDFS操作的第一步–获取FileSystem对象进行简要解释

用FileSystem对文件进行操作

public class HdfsApiDemo{
	// 第一种方式
	public void getFileSystem1(){
	    // 创建Configuraion对象
	    Configuration conf = new Configuration();
	    // 设置文件系统类型，分布式文件系统uri
	    conf.set("fs.defaultFS", "hdfs://localhost:9000");
	    // 获取指定文件系统--从conf中的一个参数fs.defaultFS来判断具体是什么类型的文件系统
	    FileSystem hdfs = FileSystem.get(conf);
	    // 输出
	    System.out.println(hdfs);
	}
	// 第二种方式
	public void getFileSystem2(){
	    Configuration conf = new Configuration();
	    String hdfsPath = "hdfs://localhost:9000";
	    
	    FileSystem hdfs = FileSystem.get(new URI(hdfsPath), conf);
	    
	    // FileSystem hdfs = FileSystem.get(new URI("hdfs://localhost:9000"), new Configuration（));
	    System.out.println(hdfs);
	}
	// 第三种方式
	public void getFileSystem3{
		Configuration conf = new Configuration();
		// 制定文件类型
		conf.set("fs.defaultFS", "hdfs://localhost:9000");
		// 获取指定的文件系统
		FileSystem fs = FileSystem.newInstance(conf);
		System.out.println(fs.toString());
	}
	// 第四种方式
	public void getFileSystem4{
		// 获取指定的文件系统
		FileSystem fs = FileSystem.newInstance(new URI("hdfs://localhost:9000"), new Configuration());
		System.out.println(fs.toString());
	}

URI称为统一资源标示符，在Hadoop中使用URI路径作为参数，其格式是：scheme://authority/path。¹

我们在使用Hadoop、Spark或者是Hbase，最常遇到的问题就是进行相关系统的配置，比如集群的URL地址，MapReduce临时目录、最终输出路径等。这些属性需要有一个系统（类）进行管理。然而，Hadoop没有使用 Java.util.Properties 管理配置文件，也没有使用Apache Jakarta Commons Configuration管理配置文件，而是单独开发了一个配置文件管理类，这个类就是org.apache.hadoop.conf.Configuration。它可以解析如下格式的xml文件：

  
    hadoop.tmp.dir
    /usr/local/java/hadoop/hadoop-2.7.1/tmp
    Abase for other temporary directories.
  
  
    fs.defaultFS
    hdfs://localhost:9000
  

	
		dfs.replication
		1
	
	
		dfs.namenode.name.dir
		/usr/local/java/hadoop/hadoop-2.7.1/tmp/dfs/name
	
	
		dfs.datanode.data.dir
		/usr/local/java/hadoop/hadoop-2.7.1/tmp/dfs/data
	

创建一个Configuration对象时，其构造方法会默认加载hadoop中的两个配置文件，分别是core-default.xml和core-site.xml，这两个文件中会有访问hdfs所需的参数值，默认是fs.default.name，若开启了 NN 的HA (namenode 的 highavaliable)²，则为fs.defaultFS。指定了hdfs的地址，客户端就可以通过此地址访问hdfs文件系统。即可理解为configuration就是hadoop中的配置信息。³

参考文章