好久没有更新博客了,最近在公司中每天都在忙于当sqlBoy以及做一些琐碎杂事,感觉已经忘记了什么叫做上进,几天开始要重新拾起更新博客的习惯了,就从hadoop生态圈开始重新更博吧,前端时间安装了CDH,但是在CDH环境中如何使用MR琢磨了好久,现在记录一下,方便以后翻阅,也给大家提供一点素材共同学习。
运用MR执行wordcount准备工作:
在hdfs中创建wcinput目录,并将wordcount案例放入该目录,输出目录wcoutput不用创建 1.sudo -u hdfs hadoop fs -mkdir /wcinput 2.sudo -u hdfs hadoop fs -put /home/data/wordcount.txt /wcinput 3.查看是否成功 sudo -u hdfs hadoop fs -ls /wcinput
wordcount 案例jar包存放位置
注意:这是CDH版本!!!如果是原生hadoop,则就在你自己安装的hadoop的jar目录下,仔细找一下哦
/opt/cloudera/parcels/CDH/jars
执行:
sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH/jars/hadoop-examples.jar wordcount /wcinput /wcoutput
命令解析: hadoop jar:执行jar包命令
/opt/cloudera/parcels/CDH/jars/hadoop-examples.jar :MR执行jar包位置
wordcount :函数名称,运行入口
/wcinput: 输入目录
/wcoutput:输出目录
错误解决:
WARNING: Use “yarn jar” to launch YARN applications.
21/10/05 13:02:18 INFO client.RMProxy: Connecting to ResourceManager at hadoop102/192.168.37.102:8032
java.io.FileNotFoundException: File does not exist: hdfs://hadoop102:8020/user/yarn/mapreduce/mr-framework/3.0.0-cdh6.3.2-mr-framework.tar.gz
如果报该错误,则前往CDH页面YARN模块下选中操作下安装YARN MapReduce框架JAR



