栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

HDFS基础命令

HDFS基础命令

通过vi在Linux本地创建三个文本文件:txt1.txt、txt2.txt、txt3.txt。文件里面随意输入些内容。
命令如下:
vi txt1.txt
vi txt2.txt
vi txt3.txt

(1)列出子目录或子文件
列出 HDFS 当前用户家目录下的文件及文件夹(前提:家目录已经存在,否则报
错) , 命令为:
hdfs dfs –ls

如果报错,请看解决办法
https://blog.csdn.net/weixin_45970532/article/details/123676781?spm=1001.2014.3001.5501

列出根目录
命令为:
hdfs dfs –ls /

(2)创建目录(-p表示父目录都会创建)
目录路径如下:
/001
/001/mydemo2
/001/mydemo/x/y/z
/001/mydemo3
/001/mydemo4
/001/mydemo5
命令为:
hdfs dfs –mkdir -p /047/mydemo2
hdfs dfs –mkdir -p /047/x/y/z
hdfs dfs –mkdir -p /047/mydemo3
hdfs dfs –mkdir -p /047/mydemo4
hdfs dfs –mkdir -p /047/mydemo5

(3) 列出HDFS文件下名为/001/mydemo的文件夹中的文件(-R表示列出所有子目录)
命令为:
hdfs dfs –ls –R /047/mydemo

(4) 上传文件
将本地目录txt1.txt文件上传到HDFS上( /001/mydemo目录下)并重命名为hdfs1.txt:
命令为:
hdfs dfs –put txt1.txt /047/mydemo/hdfs1.txt

将本地目录txt2.txt文件上传到HDFS上( /001/mydemo 目录下)并重命名为hdfs2.txt:
命令为:
hdfs dfs –put txt2.txt /047/mydemo/hdfs2.txt

(5)本地文件txt3.txt移动到HDFS( /001/mydemo/目录下)
命令为:
hdfs dfs –moveFromLocal txt3.txt /047/mydemo

(6)下载文件(要求用2种不同的指令实现)
将HDFS中的hdfs3.txt文件复制到本地文件系统并命名为txt3.txt:
命令为:
hdfs dfs -get /047/mydemo/hdfs3.txt /root/documents
hdfs dfs -copyToLocal /047/mydemo/hdfs3.txt /root/documents

(7) 查看文件(要求用2种不同的指令实现)
查看HDFS下/001/mydemo/hdfs2.txt文件中的内容:
命令为:
hdfs dfs –cat /047/mydemo/hdfs2.txt
hdfs dfs -tail /047/mydemo/hdfs2.txt

(8) 删除文档
删除HDFS下名为hdfs3.txt的文件(参数r为递归删除)
命令为:
hdfs dfs –rm –r /047/mydemo/hdfs3.txt

(9)文件或文件夹复制
将HDFS上面的hdfs1.txt 文件在所在目录下复制一份,并命名为hdfs3.txt
命令为:
hdfs dfs –cp /047/mydemo/hdfs1.txt /047/mydemo/hdfs3.txt

(10)在HDFS的/001/mydemo/目录下创建一个空文件hdfs5.txt
命令为:
hdfs dfs –touchz /047/mydemo/hdfs5.txt

(11)追加到文件末尾的指令
将 txt1.txt文件内容追加到hdfs5.txt文件末尾
命令为:
hdfs dfs –appendToFile ./txt1.txt /047/mydemo/hdfs5.txt

(14)显示:/001/mydemo目录个数, 文件个数, 文件总计大小 输入路径
命令为:
hdfs dfs –count /047/mydemo

(15)查看/001/mydemo文件大小
命令为:
hdfs dfs –du –s –h /047/mydemo

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/774931.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号