栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hadoop集群-单词统计

hadoop集群-单词统计

1.在用Hadoop进行单词统计前,要做好Hadoop的集群部署

 输入上述命令,就能在浏览器中分别访问namenode:50070(namenode指的是你主节点的名字,这里我的主节点名字是namenode,50070是端口号)和namenode:8088,由此查看HDFS和YARN的web界面。如图所示:

接下来我们就可以进行单词统计啦。

 2.首先,打开HDFS网页端,选择Utilities->Browse the file system

3.找一篇英语文章的TXT文本文件放入/java/data目录下(在win中将需要的文件拖入data下),如图

或在集群的主节点(即hadoop文件路径)的/java/data目录下,执行 “vi english.txt”指令新建一个english.txt文本文档

4.输入hadoop fs -mkdir -p /wordcount/input

         hadoop fs -put /java/data/English.txt /wordcount/input  

此处第一条命令是在HDFS上新建/wordcount/input目录,第二条命令是将english.txt文件上传到该目录下

5.进入hadoop解压包的/share/hadoop/mapreduce/目录下,输入ll指令,查看文件内容,如图:

此处,hadoop-mapreduce-examples-2.7.3.jar包可以实现计算单词个数等功能。

6.在jar包位置下执行指令:

hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /wordcount/input /wordcount/output

其中hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount的wordcount表示执行的单词统计功能,/wordcount/input单词统计的HDFS路径,/wordcount/output单词统计后的HDFS路径。

执行成功后,在HDFS网页端查看

由此,我们可以点击part-r-00000,下载

下载后,以记事本方式打开

以上,便是hadoop进行单词统计的相关操作。

 

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/602527.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号