栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

调用MapReduce对文件中各个单词出现的次数进行统计

调用MapReduce对文件中各个单词出现的次数进行统计

需求描述

Hadoop综合大作业 要求:

1.将待分析的文件(不少于10000英文单词)上传到HDFS。

2.调用MapReduce对文件中各个单词出现的次数进行统计。

3.将统计结果下载本地。

二、环境介绍

安装Ubuntu:

 

安装JAVA环境:

 

安装hadoop:

 

三、数据来源及数据上传

准备一个待分析的10000字的英文单词文件,命名为lisen.txt;直接拖拽进虚拟机当中。

    

 

四、数据上传结果查看

启动hadoop,将lisen.txt上传至HDFS;查看HDFS input文件,看看是否存在lisen.txt

 

五、数据处理过程的描述

在Eclipse中创建MapReduce项目;程序运行结束后,会在底部的”Console”面板中显示运行结果信息。

 

 

把JAVA应用程序打包生成JAR包,部署到Hadoop平台上运行。把词频统计程序放在”usr/local/hadoop/myapp”目录下。

  

六、处理结果的下载及命令行展示

使用Hadoop jar命令运行程序,查看output文件夹是否有运行成功后生成的文件以及查看运行后生成的output/part-r-00000这个文件。

  

将output文件下载至本地:

 

查看文件:

 

 

Part-r-00000文件:

 

参考文献

[1]陆嘉恒.Hadoop 实战.第 2 版.北京:机械工业出版社,2012.

[2]王鹏.云计算的关键技术与应用实例.北京:人民邮电出版社,2010.

[3]刘鹏,黄宜华,陈卫卫.实战 Hadoop.北京:电子工业版社.2011.

[4]项亮.推荐系统实践.北京:人民邮电出版社,2012.

[5]胡铮.物联网.北京:科学出版社,2010.

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/687919.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号