栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hadoop调用MapReduce实现对文件中各个单词出现的次数进行统计

Hadoop调用MapReduce实现对文件中各个单词出现的次数进行统计

一、需求描述

1.将待分析的文件(不少于10000英文单词)上传到HDFS。

2.调用MapReduce对文件中各个单词出现的次数进行统计。

3.将统计结果下载本地。

二、环境介绍

安装Ubuntu系统

配置Java环境,安装JDK 

安装hadoop

三、数据来源及数据上传

    准备一个待分析的 10000 字英文单词文件,命名为lwj.txt。开启虚拟机双向拖放,将lwj.txt 文件拖拽到 hadoop 中:

查看文件是否已经传进/home/hadoop 文件夹下:

 

四、数据上传结果查看

启动hadoop

 将lwj.txt文件上传至 HDFS:

查看 HDFS input 文件

  • 数据处理过程的描述

打开 eclipse,在 Eclipse中创建MapReduce项目,为项目添加需要用到的 JAR 包。编写WordCount程序,输入完整的词频统计程序代码并运行。

把 Java 应用程序打包生成 JAR包,部署到Hadoop平台上运行。

启动新终端,在“/usr/local/hadoop”目录下创建myapp目录,并把词频统计程序放在此目录下。

六、处理结果的下载及命令行展示

使用hadoop  jar 命令运行程序

查看 output 文件夹是否有运行成功后生成的文件

查看运行后生成的 output/part-r-00000 这个文件

将 output 文件夹下载至本地

查看 part-r-00000 文件

参考文献

[1]陆嘉恒.Hadoop 实战.第 2 版.北京:机械工业出版社,2012.

[2]王鹏.云计算的关键技术与应用实例.北京:人民邮电出版社,2010.

[3]刘鹏,黄宜华,陈卫卫.实战 Hadoop.北京:电子工业版社.2011.

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/687832.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号