Hadoop框架下 本地模式测试
在测试之前确保你的虚拟机已成功安装好了 hadoop框架
(在命令行输入 Hadoop version)
如上显示就安装和配置完成
- 进入到hadoop-3.1.3 文件夹下
- 使用命令行操作创建一个字段文件夹和文档 来测试效果
mkdir wcinput
- 进入创建好的 wcinput ,在该文件夹下创建一个 word.txt文件
在 wcinput文件夹下创建
创建 word.txt文档
vim word.tax
在该文件夹下创建 几个字段 (确保其中有几个是相同的,用于测试)
保存退出
cd .. 返回到 hadoop-3.1.3文件夹界面
- 测试开始:
输入指令 bin/hadoop jar share/ 后双击 tab 键,显示如下
在 share/后 紧跟写入 hadoop/ 双击 tab,显示如下
在 hadoop/后 写入 mapreduce/ 双击 tab ,显示如下
在之后的指令上 输入下图红框内的代码
双击 tab 后 ,可以看见创建的 woinput文件
如果没有 请从头看起查漏补缺!!!
在 hadoop-mapreduce-examples-3.1.3.jar后 空格 加上 wordcount wcinput ./wcoutput 回车
输入 以下查看结果
完全分布式运行模式(开发重点)
分析:
1)准备 3 台客户机(关闭防火墙、静态 IP、主机名称)
2)安装 JDK
3)配置环境变量
4)安装 Hadoop
5)配置环境变量
6)配置集群
7)单点启动
8)配置 ssh
9)群起并测试集群
编写集群分发脚本 xsync
1)scp(secure copy)安全拷贝
(1)scp 定义
scp 可以实现服务器与服务器之间的数据拷贝。(from server1 to server2)
(
2)基本语法
scp -r $pdir/$fname $user@$host:$pdir/$fname
命令 递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称



