栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

如何在IDEA编译器中连接HDFS,运行MapReduce程序

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

如何在IDEA编译器中连接HDFS,运行MapReduce程序

⭐ ⭐ ⭐ ⭐ ⭐ 博主信息⭐ ⭐ ⭐ ⭐ ⭐

博主名称:Yuan-Programmer

链接直达:https://bbs.csdn.net/topics/603957283

链接直达:https://bbs.csdn.net/topics/603957283

链接直达:https://bbs.csdn.net/topics/603957283

链接直达:https://bbs.csdn.net/topics/603957283

⭐ ⭐ ⭐ ⭐ ⭐ 点点五星⭐ ⭐ ⭐ ⭐ ⭐

我正在参加年度博客之星评选,请大家帮我投票打分,您的每一分都是对我的支持与鼓励。

贡献您几秒钟时间,点个五星,在此感激不尽!!!

各大技术基础教学、实战开发教学(最新更新时间2021-12-4)

打开IDEA编译器-->>点击File-->>选择Settings

找到Plugins,在Installed中搜索big,找到下面这个,点击下载,我这里已经下载过了 

下载之后展开在左侧的Tools下的Big...里,配置如下信息

 上面的hadoop01:9000是之前的core-site.xml配置里的

 然后点击右上角的这里,添加新的Application

然后在你的maven项目(MapReduce)的resource下面添加三个配置文件

core-site.xml


    
        
        fs.defaultFS
        hdfs://hadoop01:9000
    
    

log4j.properties(打印日志)

log4j.appender.A1.Encoding=UTF-8
log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{ABSOLUTE} | %-5.5p | %-16.16t | %-32.32c{1} | %-32.32C %4L | %m%n

mapred-site.xml


    
    
        mapred.remote.os
        Linux
        Remote MapReduce framework's OS, can be either Linux or Windows
    
    
    
        mapreduce.app-submission.cross-platform
        true
    

最后直接点击运行,就可以在IDEA运行MapReduce程序啦(前提是开启hadoop服务哦,能再浏览器打开HDFS文件系统) 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/696211.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号