栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hadoop单机和完全分布式自带Mapreduce测试

Hadoop单机和完全分布式自带Mapreduce测试

一、单机

准备一个安装好的Hadoop单机虚拟机

在hadoop文件夹下创建一个wcinput文件夹,在这个文件夹里创建一个文件word.txt,并且在这个文件中输入几个单词。

 

hadoop yarn
hadoop mapreduce
atguigu
atguigu

输入以下命令

 hadoop  jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

然后查看

cat wcoutput/part-r-00000

这个文件就是我们创建文件中的单词出现次数

 这个是测试mapreduce的单词统计功能

二、完全分布式

执行命令        hadoop fs -mkdir /wcinput

打开浏览器进入hdfs管理页面

 点击进入hdfs内容管理

可以看到这里有一个文件夹是我们刚才创建的

现在创建一个文件word.txt,并将他上传到hdfs的wcinput文件夹中,输入命令

 hadoop fs -put /opt/module/hadoop-3.1.3/wcinput/word.txt  /wcinput

查看文件

 已经上传到wcinput中了

现在执行命令,计算文本中的单词数量

 可以看到生成了一个wcoutput的文件夹,进去看一下

 这是一个简单的完全分布式测试。

如果已经存在了输出文件夹,会报错的,记住这一点,这个是源码中写好的

 

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/751957.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号