HDFS shell命令行常用操作

目录

1.创建文件夹 

hadoop fs -mkdir [-p] ....

2.查看指定目录下的内容

hadoop fs -ls [-h] [-R] [.........]

3.上传文件到HDFS指定目录下

hadoop fs -put [-f] [-p] ..... 

4.查看HDFS文件内容

hadoop fs -cat ....

5.下载HDFS文件

hadoop fs -get [-f] [-p] .....

6.拷贝HDFS文件

hadoop fs -cp [-f] ...

7.追加数据到HDFS文件中

hadoop fs -appendToFile .....

8.HDFS数据移动操作

hadoop fs -mv ...

9.HDFS shell其他命令

1.创建文件夹 

hadoop fs -mkdir [-p] ....

path 为待创建的目录

-p选项的行为与Uinx mkdir -p 非常相似，它会沿着路径创建父目录。

2.查看指定目录下的内容

hadoop fs -ls [-h] [-R] [.........]

path 指定目录路径

-h 人性化显示文件size

-R递归查看指定目录及其子目录

首先我们上传一个文件 anaconda-ks.cfg 到根目录下 ，接着使用ls 查看根目录，会发现有一个1340，接着我们 使用-h 再进行查看根目录，会发现 该文件前面显示了 1.3k （文件的大小）。

3.上传文件到HDFS指定目录下

hadoop fs -put [-f] [-p] ..... 

-f 覆盖目标文件（已存在下）

-p 保留访问和修改时间，所有权和权限。

localsrc 本地文件系统（客户端所在机器）（在哪敲命令，哪 就是客户端）

dst 目标文件系统（HDFS）

4.查看HDFS文件内容

hadoop fs -cat ....

读取指定文件全部内容，显示在标准输出控制台。

 

注意：对于大文件内容读取。慎重。 

5.下载HDFS文件

hadoop fs -get [-f] [-p] .....

从HDFS系统下载文件到本地文件系统指定目录，localdst必须是目录（客户端所在的本地系统）

-f 覆盖目标文件

-p 保留访问和修改时间 ，所有权和权限。

 

6.拷贝HDFS文件

hadoop fs -cp [-f] ...

-f 覆盖目标文件（已存在下）

7.追加数据到HDFS文件中

hadoop fs -appendToFile .....

将多个文件追加到HDFS的某一个文件的尾部

如果文件不存在，将创建该文件

如果为-， 则输入为从标准输入中读取。

应用场景 ：小文件合并 

8.HDFS数据移动操作

hadoop fs -mv ...

移动文件到 指定文件夹下

可以使用该命令移动数据，重命名文件名称

9.HDFS shell其他命令

官方命令指导文档（链接）

Hadoop Shell命令