Hadoop HDFS 的基本shell命令操作

查看指定目录下信息  -ls

# -h 人性化显示
# -R 递归显示
hdfs dfs -ls [-h] [-R] 

# -p 创建父目录
hdfs dfs -mkdir [-p] 

hdfs dfs -put  
# 将单个 src 或多个 srcs 从本地文件系统复制到目标文件系统
# src代表的是本地目录 所谓的本地指的是客户端所在的机器 
# dst代表的是HDFS
# -p：保留访问和修改时间，所有权和权限。
# -f：覆盖目的地（如果已经存在）

hdfs dfs -put file:///root/itcast.txt hdfs://node1:8020/itcast	

hdfs dfs -put itcast.txt /itcast

下载文件  -get

# 复制hdfs文件到本地文件系统。
hdfs dfs -get  

# 复制hdfs指定节点的文件到本地文件系统。
hdfs dfs -get hdfs://node1:8020/itcast/itcast.txt file:///root/

# 合并下载多个文件，其功能和 appendToFile 相反的动作
hdfs dfs -getmerge /input/* ./merge.txt
# 查看合并下载后的文件
cat merge.txt 

# 移动
hdfs dfs -mv  
# 复制
hdfs dfs -cp  
# 递归删除
hdfs dfs -rm -r  

# 跨集群复制 distcp
hadoop distcp hdfs://node1:8020/input/1.txt hdfs://node5:8020/test

# 准备工作
echo 1 >> 1.txt
echo 2 >> 2.txt
echo 3 >> 3.txt
hadoop fs -put 1.txt /
hadoop fs -cat /1.txt

# 把本地文件 2.txt 和 3.txt 的内容追加到hdfs中的 1.txt
hdfs dfs -appendToFile 2.txt 3.txt /1.txt
hdfs dfs -cat /1.txt

# 追加的用途：把本地的小文件上传中合并成为大文件 解决小文件场景的。

# cat 适合小文件
# tail 将文件的最后一千字节内容显示到stdout  -f参数支持实时追踪查看
hdfs dfs -cat /1.txt

# hdfs在设计的时候 借鉴模仿着linux权限管理模式
# 也有所谓的读写执行 user group others  777
# chgrp  修改所属组
# chmod  修改权限
# cgown  修改拥有者
hdfs dfs -chmod 777 /1.txt

hdfs dfs -df -h /
# 输出
# Filesystem            Size   Used  Available  Use%
# hdfs://node1:8020  111.1 G  5.0 M     98.3 G    0%

# hadoop fs -setrep -w N -R
# -w wait等待 修改副本客户端是否等待修改完毕再推出
# N 就是修改之后的副本数

hadoop fs -setrep -w 2 /input/1.txt
hadoop fs -setrep 2 /input/2.txt