栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hadoop wordcount代码(运行hadoop自带的wordcount)

hadoop wordcount代码(运行hadoop自带的wordcount)

查看并使用hadoop自带的示例程序(以wordcount为例) 1. 查看hadoop自带的示例程序

hadoop jar hadoop安装路径+/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar,如:

hadoop jar /home/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar

结果

2. 使用hadoop自带的示例程序(以wordCount为例)

①准备文件1.txt,在里面输入几行英文字符或者数字。

我自己准备的文件内容如下:

②开启集群的其他节点主机,否则会出现如下图所示的报错:

RemoteException:......Name node is in safe mode

③开启进程ResourceManager,也就是输入命令start-dfs.sh和start-yarn.sh。否则会报错如下:

不要忘记开启yarn,否则会出现报错(也不算报错,就是反复请求)如下图所示:

④将1.txt文件上传至分布式文件系统的/user/root路径下,否则会提示文件不存在。

InvalidInputException: Input path does not exist: ....

如下图所示,已经将1.txt上传至分布式文件系统的/user/root路径下。

⑤确保结果的输出文件夹是之前不存在的,否则会有如下图所示的提示:原来的输出文件夹已存在(这里我是之前做过一次实验,所以有这个提示,可以选择换一个新的输出文件夹,也可以选择将原有的输出文件夹删掉。这里我换一个新的输出文件夹)。

FileAlreadyExistsException: Output directory ..... already exists

⑥输入如下命令,使用wordCount程序。

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount 1.txt output2

一般看到map 0% reduce 0%就表示任务进行中了。

如下图所示,任务完成。

⑦输入如下命令,查看输出文件output2中显示的统计结果。

hadoop fs -cat /user/root/output2/*

output2中显示的统计结果。意思是内容同为“123”的有2行、内容同为“abc”的有2行。

hadoop fs -cat /user/root/output2/*

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/772240.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号