栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

HDFS基本命令

HDFS基本命令

1.具体操作过程如下:

第一步:搭建3个节点

启动hadoop1虚拟机,配置IP地址,使用CRT连接上;

启动hadoop2虚拟机,配置IP地址。

(如果自己搭建了第3个hadoop3也启动起来)

第二步:启动Hadoop集群

打开连接工具xshell或者CRT,连接hadoop1节点,进入hadoop启动文件夹中,启动集群。

根据自己的Hadoop路径到sbin目录下:

cd /usr/local/hadoop-2.7.4/sbin

启动集群

./start-all.sh

第三步:校验启动是否成功

3个节点都使用jps查询:

hadoop1节点有:jps、namenode、secondarynamenode、resourcemanager

hadoop2节点有:jps、datanode、nodemanager

hadoop3节点有:jps、datanode、nodemanager(如果启动了hadoop3)

第四步:练习HDFS基本操作
  1. 使用浏览器查看HDFS存储信息:输入自己的虚拟机IP地址
http://ip:50070

在任意目录下执行以下命令都可以

  1. 新建文件夹
    hdfs dfs -mkdir /user
    hdfs dfs -mkdir /user/dfstest
    

  2. 上传文件 (推荐使用下面的第一个)

直接上传到hdfs的目录下

hdfs dfs -copyFromLocal a.txt /user/dfstest/

 上传并更改文件名

hdfs dfs -moveFromLocal a.txt /user/dfstest/b.txt
hdfs dfs -put a.txt /user/dfstest/c.txt
  1. 下载文件
hdfs dfs -copyToLocal /user/dfstest/b.txt .
hdfs dfs -get /user/dfstest/c.txt .
  1. 查看文件
hdfs dfs -cat /user/dfstest/a.txt
hdfs dfs -tail /user/dfstest/b.txt
hdfs dfs -text /user/dfstest/c.txt
  1. 删除文件
hdfs dfs -rm /user/dfstest/c.txt
hdfs dfs -rmdir /user/dfstest
hadoop dfs –rm /user/..

第五步:上传demo.txt文件至HDFS中
  1. 上传demo.txt文件至Linux

这里采用rz直接上传到Linux上

  1. 新建目录
  2. 上传demo.txt文件至HDFS
  3. 查看文件是否上传成功
  4. 查看文件前10行内容
hdfs dfs -cat /user/AccessCount/part-r-00000 | head -10

最后运行jar包试试
hadoop jar dailyAccessCount.jar /user/root/demo.txt /user/AccessCount

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/688475.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号