flume系列之：清理HDFS上的tmp文件，把.gz.tmp文件变为.gz文件

一、查找hdfs指定目录下的tmp文件 二、把所有的.gz.tmp文件变为.gz文件

flume出现异常，hdfs上生成的gz.tmp文件没有正常关闭，需要把这些gz.tmp格式的文件转变为gz文件。 思路是：可以写一个脚本找出所有的tmp文件，然后再批量执行hadoop fs -mv命令把所有的.gz.tmp文件变为.gz文件。 一、查找hdfs指定目录下的tmp文件

查找hdfs指定目录下的tmp文件 生成hadoop fs -mv filename.gz.tmp filename.gz命令存放到脚本cleanTemp.sh中 执行sh cleanTemp.sh把所有的.gz.tmp文件变为.gz文件

查找gz.tmp文件的脚本findTempFile.sh

vim findTempFile.sh

set -x

DAY=$1
HOUR