1.具体操作过程如下:
第一步:搭建3个节点
启动hadoop1虚拟机,配置IP地址,使用CRT连接上;
启动hadoop2虚拟机,配置IP地址。
(如果自己搭建了第3个hadoop3也启动起来)
第二步:启动Hadoop集群
打开连接工具xshell或者CRT,连接hadoop1节点,进入hadoop启动文件夹中,启动集群。
启动hadoop1虚拟机,配置IP地址,使用CRT连接上;
启动hadoop2虚拟机,配置IP地址。
(如果自己搭建了第3个hadoop3也启动起来)
第二步:启动Hadoop集群
打开连接工具xshell或者CRT,连接hadoop1节点,进入hadoop启动文件夹中,启动集群。
(如果自己搭建了第3个hadoop3也启动起来)
第二步:启动Hadoop集群
打开连接工具xshell或者CRT,连接hadoop1节点,进入hadoop启动文件夹中,启动集群。
打开连接工具xshell或者CRT,连接hadoop1节点,进入hadoop启动文件夹中,启动集群。
根据自己的Hadoop路径到sbin目录下:
cd /usr/local/hadoop-2.7.4/sbin
启动集群
./start-all.sh
第三步:校验启动是否成功
3个节点都使用jps查询:
hadoop1节点有:jps、namenode、secondarynamenode、resourcemanager
hadoop2节点有:jps、datanode、nodemanager
hadoop3节点有:jps、datanode、nodemanager(如果启动了hadoop3)
第四步:练习HDFS基本操作
- 使用浏览器查看HDFS存储信息:输入自己的虚拟机IP地址
http://ip:50070
在任意目录下执行以下命令都可以
- 新建文件夹
hdfs dfs -mkdir /user hdfs dfs -mkdir /user/dfstest
- 上传文件 (推荐使用下面的第一个)
直接上传到hdfs的目录下
hdfs dfs -copyFromLocal a.txt /user/dfstest/
上传并更改文件名
hdfs dfs -moveFromLocal a.txt /user/dfstest/b.txt
hdfs dfs -put a.txt /user/dfstest/c.txt
- 下载文件
hdfs dfs -copyToLocal /user/dfstest/b.txt .
hdfs dfs -get /user/dfstest/c.txt .
- 查看文件
hdfs dfs -cat /user/dfstest/a.txt
hdfs dfs -tail /user/dfstest/b.txt
hdfs dfs -text /user/dfstest/c.txt
- 删除文件
hdfs dfs -rm /user/dfstest/c.txt
hdfs dfs -rmdir /user/dfstest
hadoop dfs –rm /user/..
第五步:上传demo.txt文件至HDFS中
- 上传demo.txt文件至Linux
这里采用rz直接上传到Linux上
- 新建目录
- 上传demo.txt文件至HDFS
- 查看文件是否上传成功
- 查看文件前10行内容
hdfs dfs -cat /user/AccessCount/part-r-00000 | head -10



