栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hdfs的常用命令

hdfs的常用命令

1.hadoop fs/dfs hdfs/dfs

hadoop:适用面最广,可以操作任何文件系统。

hdfs:只与HDFS文件系统相关。

fs:涉及到一个通用的文件系统,可以指向任何系统文件,如local,HDFS等。

dfs:仅是针对HDFS的分布式文件系统。

fs>dfs

fs:在本地与hadoop分布式文件系统的交互操作中使用。

分布式文件系统:fs与dfs没有区别。

2常用命令

1,help:显示命令的帮助信息

(1)获得所有命令帮助信息

(2)获得某个命令的帮助信息

 2,ls         格式:hadoop  fs -ls URL

                   作用:类似Linux的ls命令,显示文件列表

也可以通过浏览器图形化查看文件系统:http://192.168.56.2:50070

 3,ls 格式:hadoop fs -lsr URL(过时)

                     hadoop fs -ls -R URL

 

4,mkdir 格式:hadoop fs  [-p]  -mkdir

                作用:以中的URL为参数,创建目录

                   -p:参数可以递归创建目录

递归创建目录

 

 5,put 格式:hadoop fs -put    

            作用:将单个的源文件src或者多个文件srcs从本地文件系统拷贝到目标文件系统

 

6,moveFromLocal 格式:hadoop  fs  - moveFromLocal   

                                作用:和put命令类似,从本地将文件移动到hdfs,但是源文件在拷贝之后自身删除

moveToLocal  作用:从hdfs上将文件移动到本地系统中

7,get 格式:hadoop fs  -get[-ignorecrc] [-crc]

           作用:把hdfs上的文件拷贝到本地

                     -ignorecrc:忽略crc校检     -crc:使用crc校检

 8,mv 格式:hadoop fs   -mv  URL 

            作用:将hadfs上的文件从原路径移动到目标路径,移动后文件删除,改命令不能跨文件系统使用

9,cp  格式:hadoop   fs   -cp  URL[URL....]   

            作用:将文件拷贝到目标路径中,如果以dest为目录的话,可以将多个文件系统拷贝到改目录下

              -f:如果它已存在,将覆盖目标文件

              -p:选项将保留文件属性(时间戳,所有权,许可等)(深度拷贝:内容加属性) 

 10,rm  格式:hadoop  fs   -rm [-r] [-skipTrash]  URL[URL....]

              作用:删除参数指定的文件,参数可以有很多个

               -r:删除目录

                -skipTrash:指定-skipTrash 选项,那么在回收站可用的情况下该选项将会跳过回收站直接删除文件,否则,在回收站可用的情况下,在hdfs sell中执行命令,会将文件暂存在回收站中

        

 删除目录

11, cat  格式:hadoop  fs  -cat  URI(URI...)

               作用:将参数所指示的文件内容输出到控制台上

12, chmod  格式:hadoop  fs  -chmod[-R]  URI[URI..]

            作用:改变文件权限

            -R:对整个目录有效递归执行。使用这一命令的用户必须是文件的所属用户,或者超级用户

13,chown  格式:hadoop  fs  -chown[-R]  URI[URI...]

                    作用:改变文件的所属用户和用户组

 

 14,appendToFile  将一个文件或多个文件合并追加到另一个文件中

                格式:hadoop  fs  -appendToFile    

                作用:追加一个或者多个文件到hdfs指定文件中,也可以从命令行读取输入

 后期可使用appendToFile  合并小文件,减少NameNode中元数据的压力

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/326300.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号