栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

CDH环境下运用MR执行wordcount

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

CDH环境下运用MR执行wordcount

好久没有更新博客了,最近在公司中每天都在忙于当sqlBoy以及做一些琐碎杂事,感觉已经忘记了什么叫做上进,几天开始要重新拾起更新博客的习惯了,就从hadoop生态圈开始重新更博吧,前端时间安装了CDH,但是在CDH环境中如何使用MR琢磨了好久,现在记录一下,方便以后翻阅,也给大家提供一点素材共同学习。

运用MR执行wordcount

准备工作:

在hdfs中创建wcinput目录,并将wordcount案例放入该目录,输出目录wcoutput不用创建

1.sudo -u hdfs hadoop fs -mkdir /wcinput
2.sudo -u hdfs hadoop fs -put /home/data/wordcount.txt /wcinput
3.查看是否成功
  sudo -u hdfs hadoop fs -ls /wcinput

wordcount 案例jar包存放位置
注意:这是CDH版本!!!如果是原生hadoop,则就在你自己安装的hadoop的jar目录下,仔细找一下哦
/opt/cloudera/parcels/CDH/jars

执行:

sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH/jars/hadoop-examples.jar wordcount /wcinput /wcoutput

命令解析: hadoop jar:执行jar包命令

/opt/cloudera/parcels/CDH/jars/hadoop-examples.jar :MR执行jar包位置

wordcount :函数名称,运行入口

/wcinput: 输入目录

/wcoutput:输出目录
错误解决:

WARNING: Use “yarn jar” to launch YARN applications.
21/10/05 13:02:18 INFO client.RMProxy: Connecting to ResourceManager at hadoop102/192.168.37.102:8032
java.io.FileNotFoundException: File does not exist: hdfs://hadoop102:8020/user/yarn/mapreduce/mr-framework/3.0.0-cdh6.3.2-mr-framework.tar.gz

如果报该错误,则前往CDH页面YARN模块下选中操作下安装YARN MapReduce框架JAR

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/306508.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号