栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Hadoop之Java操作HDFS

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Hadoop之Java操作HDFS

在具体操作之前需要先明确一下开发环境,代码编辑器使用idea,当然了eclipse也可以
这里使用的是idea 2021.2.2版本 2020版本的进行后续的实验时出现问题 更新版本后就好了

在创建项目的时候我们会创建maven项目,使用maven来管理依赖,是比较方便的.

在这里我们使用apache-maven-3.0.5-bin.zip ,当然了,其它版本也可以,没有什么本质的区别

把apache-maven-3.0.5-bin.zip解压到某一个目录下面,
在这里我解压到了D:Program Files (x86)apache-maven-3.0.5目录

解压之后,建议修改一下maven的配置文件,把maven仓库的地址修改到其它盘,例如D盘,默认是在C盘的用户目录下

修改D:Program Files (x86)apache-maven-3.0.5conf下的settings.xml文件
将localRepository标签从注释中移出来,然后将值改为D:.m2,效果如下:
这里的目录名字可以随意起,只要易于识别就可以

D:.m2

• 这样修改之后,maven管理的依赖jar包都会保存到D:.m2目录下了。
• 接下来需要配置maven的环境变量,和windows中配置JAVA_HOME环境变量是一样的。
• 先在环境变量中配置M2_HOME=D:Program Files (x86)apache-maven-3.0.5
• 然后在PATH环境变量中添加%M2_HOME%bin即可
• 环境变量配置完毕以后,打开cmd窗口,输入mvn命令,只要能正常执行就说明windows本地的maven环境配置好了。
• 这还没完,还需要在idea中指定我们本地的maven配置
• 点击idea左上角的File–>Settings,进入如下界面,搜索maven,把本地的maven添加到这里面即可

创建一个maven项目
注意:项目创建好以后,在新打开的界面中需要点击右小角的Enable Auto Import,这样添加到maven依赖会自动引入,否则会发现引入依赖了,但是代码中还是识别不了,这个时候还需要手动引入,比较麻烦。

在这里我们需要引入hadoop-client依赖包,到maven仓库中去找,添加到pom.xml文件中


	org.apache.hadoop
	hadoop-client
	3.3.2

然后创建代码
####上传 下载 删除文件

package com.helloworld;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;

public class HelloWorld {
    public static void main(String[] args) throws Exception{
        //创建一个配置对象
        Configuration conf = new
                Configuration();
        //指定HDFS的地址
        conf.set("fs.defaultFS","hdfs://192.168.10.130:9000");
        //获取操作HDFS的对象
        FileSystem fileSystem = FileSystem.get(conf);
        //上传文件
        put(fileSystem);
        //下载文件
        //get(fileSystem);
        //删除文件
        //delete(fileSystem);
    }
    
    private static void delete(FileSystem fileSystem) throws IOException {
        //如果要递归删除目录,则第二个参数需要设置为true
        //如果删除的是文件或者空目录,第二个参数会被忽略
        boolean flag = fileSystem.delete(new Path("/LICENSE.txt"), true);
        if (flag){
            System.out.println("删除成功!");
        }
        else
        {
            System.out.println("删除失败!");
        }
    }
    
    private static void get(FileSystem fileSystem) throws IOException {
        //获取HDFS文件系统中的输入流
        FSDataInputStream fis = fileSystem.open(new Path("/README.txt"));
        //获取本地文件的输出流
        FileOutputStream fos = new FileOutputStream("D:\README.txt");
        //下载文件
        IOUtils.copyBytes(fis, fos, 1024,true);
    }
    
    private static void put(FileSystem fileSystem) throws IOException {
        //获取本地文件的输入流
        FileInputStream fis = new FileInputStream("D:\user1.txt");
        //获取HDFS文件系统的输出流
        FSDataOutputStream fos = fileSystem.create(new Path("/user1.txt"));
        //上传文件,通过工具类把输入流拷贝到输出流里面,实现本地文件上传到HDFS
        IOUtils.copyBytes(fis, fos, 1024, true);
    }
}

我们在执行代码的时候会发现输出了很多红色的警告信息,虽然不影响代码执行,但是看起来很碍眼
下面是解决问题的途径
通过分析错误信息发现第一个是缺少log4j的实现类,第二个是缺少log4j的配置文件

1:pom.xml中增加log4j依赖


	org.slf4j
	slf4j-api
	1.7.10


	org.slf4j
	slf4j-log4j12
	1.7.10

2:resources目录下添加log4j.properties文件
在项目的srcmainresources目录中添加log4j.properties
log4j.properties文件内容如下:

log4j.rootLogger=info,stdout
log4j.appender.stdout = org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target = System.out
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 
log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} [%t] [%c] [%p] - %m%n

再执行代码,发现就不会有那些红色的警告信息了。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/887761.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号