栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

flume系列之:清理HDFS上的0字节文件

flume系列之:清理HDFS上的0字节文件

flume系列之:清理HDFS上的0字节文件

一、使用脚本找出0字节文件 二、删除0字节文件
HDFS上有时会生成0字节的文件,需要把这些文件从hdfs上清理掉,可以使用脚本批量清理指定目录下0字节文件。思路是先找到这些0字节文件,再批量执行hadoop fs -rm filename命令从hdfs上删除0字节文件。

一、使用脚本找出0字节文件

查找hdfs指定目录下的0字节文件 生成hadoop fs -rm filename命令存放到脚本cleanZeroFile.sh中 执行sh cleanZeroFile.sh把所有的0字节文件删除

查找0字节文件的脚本findZeroFile.sh

vim findZeroFile.sh

#!/bin/bash
set -x

DAY=$1
HOUR=$2
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/730690.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号