栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

熟悉常用的HDFS操作(shell)

熟悉常用的HDFS操作(shell)

一、实验环境
    操作系统:Linux实验软件:VMwareHadoop版本:3.1.3JDK版本:1.8
    (注意:Hadoop3.1.3要求JDK版本在1.8及以上)

(Hadoop伪分布式安装教程)

二、实验内容

shell命令方式:
hadoop fs:适用于任何不同的文件系统
hadoop dfs:适用于HDFS文件系统
hdfs dfs:适用于HDFS文件系统

1. 启动Hadoop并查看
cd /usr/local/hadoop
sbin/start-dfs.sh
jps

2. fs查看支持的命令
bin/hadoop fs

3. 查看帮助命令
bin/hadoop fs -help push

4. 创建用户目录(已创建省略该步骤)
bin/hdfs dfs -mkdir -p /user/hadoop

5. 新建目录并查看
bin/hdfs dfs -mkdir test
bin/hdfs dfs -ls

6. 删除目录并查看
bin/hdfs dfs -rm -r test  #-r参数级联删除
bin/hdfs dfs -ls

7. 将本地文件系统文件上传到HDFS文件系统中
vim local.txt
cat local.txt
ls
bin/hdfs dfs -mkdir test
bin/hdfs dfs -ls test


bin/hdfs dfs -put /usr/local/hadoop/loacl.txt test
bin/hdfs dfs -ls test
bin/hdfs dfs -cat test/local.txt

8. 将HDFS中文件下载到本地
sudo rm local.txt  #首先将本地文件删除

bin/hdfs dfs -get test/local.txt /usr/local/hadoop

9. 拷贝文件
bin/hdfs dfs -mkdir test2
bin/hdfs dfs -cp test/local.txt test2

10. web界面管理HDFS

浏览器打开:http://localhost:9870

结束!希望对每一个奋斗的你有所帮助~
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/751336.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号