Hadoop2 常用命令

1. hdfs相关

• 列出hdfs目录

hdfs dfs -ls /

• 上传文件到hdfs目录

hdfs dfs -put /local/dir/file /hdfs/dir/

• 下载hdfs上的文件到本地

hdfs dfs -get /hdfs/dir/file /local/dir/

• 创建新的hdfs目录

hdfs dfs -mkdir /hdfs/dir

2. 任务相关

• 查看job信息（包含jobId）

hadoop job -list

• 打印map和reduce完成百分比和所有计数器

hadoop job -status jobId

• 杀掉某个job

hadoop job -kill jobId

• 查看指定路径下历史日志汇总

hadoop job -history /output/dir

• 查看指定路径下详细历史日志信息

hadoop job -history all /output/dir

• 查看被杀死的任务

hadoop job -kill-task

被杀死的任务不会不利于失败尝试

• 查看失败的任务

hadoop job -fail-task

失败的任务会对失败尝试不利

3. yarn相关

• 列出所有应用

yarn application -list

• 杀掉某个应用

yarn application -kill -applicationId  applicationId

• 查看某个应用的日志

yarn logs -applicationId applicationId