Hadoop学习（4）-- HDFS shell命令介绍和操作

命令行界面（英语：command-line interface，缩写：CLI），是指用户通过键盘输入指令，计算机接收到指令后，予以执行一种人际交互方式。Hadoop提供了文件系统的shell命令行客户端: hadoop fs [generic options]。 文件系统协议

HDFS Shell CLI支持操作多种文件系统，包括本地文件系统（file:///）、分布式文件系统（hdfs://nn:8020）等具体操作的是什么文件系统取决于命令中文件路径URL中的前缀协议。如果没有指定前缀，则将会读取环境变量中的fs.defaultFS属性，以该属性值作为默认文件系统。

hadoop fs -ls file:/// #操作本地文件系统
hadoop fs -ls hdfs://node1:8020/ #操作HDFS分布式文件系统
hadoop fs -ls / #直接根目录，没有指定协议 将加载读取fs.defaultFS值

hadoop dfs 只能操作HDFS文件系统（包括与Local FS间的操作），不过已经Deprecated；hdfs dfs 只能操作HDFS文件系统相关（包括与Local FS间的操作）,常用；hadoop fs 可操作任意文件系统，不仅仅是hdfs文件系统，使用范围更广；

目前版本来看，官方最终推荐使用的是hadoop fs。当然hdfs dfs在市面上的使用也比较多。

HDFS文件系统的操作命令很多和Linux类似，因此学习成本相对较低。可以通过hadoop fs -help命令来查看每个命令的详细用法。 常用命令 创建文件夹

hadoop fs -mkdir [-p] …

path 为待创建的目录
-p选项的行为与Unix mkdir -p非常相似，它会沿着路径创建父目录。

[root@node1 ~]# hadoop fs -mkdir /wuk
[root@node1 ~]# hadoop fs -ls /
Found 2 items
drwxr-xr-x   - root supergroup          0 2022-02-16 15:56 /itcast
drwxr-xr-x   - root supergroup          0 2022-02-17 15:19 /wuk


多层目录
hadoop fs -mkdir -p /itcast

hadoop fs -ls [-h] [-R] [ …]

path 指定目录路径
-h 人性化显示文件size
-R 递归查看指定目录及其子目录

hadoop fs -put [-f] [-p] …

-f 覆盖目标文件（已存在下）
-p 保留访问和修改时间，所有权和权限。
localsrc 本地文件系统（客户端所在机器）
dst 目标文件系统（HDFS）

hadoop fs -put zookeeper.out /itcast
hadoop fs -put file:///etc/profile hdfs://node1:8020/itcast


[root@node1 export]# ll
总用量 8
drwxr-xr-x 3 root root 26 2月  16 10:45 data
-rw-r--r-- 1 root root 19 2月  16 15:36 hello.txt
drwxr-xr-x 3 root root 26 2月  14 18:01 server
drwxr-xr-x 2 root root 33 2月  14 18:01 software
-rw-r--r-- 1 root root 47 2月  16 15:09 test.out
[root@node1 export]# hadoop fs -put  hello.txt /wuk
[root@node1 export]# hadoop fs -ls  /wuk
Found 1 items
-rw-r--r--   1 root supergroup         19 2022-02-17 15:39 /wuk/hello.txt

hadoop fs -cat …

读取指定文件全部内容，显示在标准输出控制台。
注意：对于大文件内容读取，慎重。

[root@node1 export]# hadoop fs -cat  /wuk/hello.txt
hello how are you
[root@node1 export]#

hadoop fs -get [-f] [-p] …

下载文件到本地文件系统指定目录，localdst必须是目录
-f 覆盖目标文件（已存在下）
-p 保留访问和修改时间，所有权和权限。

[root@node2 ~]# mkdir test
[root@node2 ~]# cd test/
[root@node2 test]# ll
total 0
[root@node2 test]# hadoop fs -get /itcast/zookeeper.out ./
[root@node2 test]# ll
total 20
-rw-r--r-- 1 root root 18213 Aug 18 17:54 zookeeper.out

hadoop fs -cp [-f] …

-f 覆盖目标文件（已存在下）

[root@node3 ~]# hadoop fs -cp /small/1.txt /itcast
[root@node3 ~]# hadoop fs -cp /small/1.txt /itcast/666.txt #重命令
[root@node3 ~]# hadoop fs -ls /itcast

hadoop fs -appendToFile …

将所有给定本地文件的内容追加到给定dst文件。
dst如果文件不存在，将创建该文件。
如果为-，则输入为从标准输入中读取。

#追加内容到文件尾部 appendToFile
[root@node3 ~]# echo 1 >> 1.txt
[root@node3 ~]# echo 2 >> 2.txt 
[root@node3 ~]# echo 3 >> 3.txt 
[root@node3 ~]# hadoop fs -put 1.txt /
[root@node3 ~]# hadoop fs -cat /1.txt
1
[root@node3 ~]# hadoop fs -appendToFile 2.txt 3.txt /1.txt
[root@node3 ~]# hadoop fs -cat /1.txt
123

hadoop fs -mv …

移动文件到指定文件夹下，可以使用该命令移动数据，重命名文件的名称。

官方命令查询