栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

调用hadoop下的jar完成单词统计练习——大数据分析及其可视化6

调用hadoop下的jar完成单词统计练习——大数据分析及其可视化6

在之前的练习中我们是使用maven工具打包写好的代码上传到linux中运行jar包

其实在hadoop中的配置文件是有已经完成的MapReduce运算jar包

现在我们来尝试一下

上次我们在主节点完成单词统计

这次我们用子节点_dfp主机完成单词统计练习

执行上面的命令进入hadoop配置完成的文件夹中

我们发现在share文件下的hadoop文件内有写好的MapReduce文件里面有封装好的jar包

 

这个就是hadoop自带单词统计的jar包我们执行这个命令 

hadoop jar hadoop-mapreduce-examples-2.7.3.jar

可以看到系统提示我们怎么操作以及jar包有哪些命令。

执行单词统计命令:

hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /data_input /h_data_output

格式=(hadoop jar 【jar包名】【操作】/【数据来源】/【数据输出文件】)1.这个数据输出文件夹一定是不存在的  2.确保数据来源有数据

查看输出数据

 hdfs dfs -ls /h_data_output
hdfs dfs -cat /h_data_output/part-r-00000

 

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/600563.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号