栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

IDEA 配置 hadoop3.3.1 开发环境

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

IDEA 配置 hadoop3.3.1 开发环境

前言
  1. 适用于hadoop3.2以后的版本
  2. IDEA的安装见我之前的博文
  3. 你需要安装并配置好了hadoop
  4. 我的系统是Fedora35,但如果你是其他linux系统也应该适用
  5. 本教程在Ubuntu 20.04 hadoop3.3.1 伪分布式配置下成功复现
创建一个maven项目

引入jar包

file-project settings-modules 点击加号,到hadoop安装目录/share/hadoop下面把jar包拉上来
需要这些包和目录

复制配置文件

把/opt/hadoop-3.3.1/etc/hadoop/目录(hadoop安装文件夹下配置文件目录)下的这三个文件复制过来
务必和我的文件目录保持一致

修改debug配置

build-debug-edit configuration

点modify options,add VM options ,然后把下面这句话粘贴进去

-Djava.library.path==/opt/hadoop-3.3.1/lib/native

如果你和我的$HADOOP_HOME不一样,修改一下目录即可。

测试
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class hdfsclass {
    public static void main(String[] args) {
        try {
            String filename = "hdfs://master:9000/2.txt";
            Configuration conf = new Configuration();
            conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
            FileSystem fs = FileSystem.get(conf);
            if (fs.exists(new Path(filename))) {
                System.out.println("文件存在");
            } else {
                System.out.println("文件不存在");
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

正常情况是,你和我的运行状况一致且没有报错

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/273613.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号