栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

tar多线程压缩解压

tar多线程压缩解压

tar多线程压缩解压

tar -czvf a.tar.gz ./*
测试每分钟压缩包a.tar.gz增长大约300M

安装多线程程序
yum -y install pigz

实测,4核的机器,2G文件用了不到1分钟
tar --use-compress-program=pigz -cvpf b.tar.gz ./*
top看到系统CPU使用率是390%+

解压测试:41G 的文件,4核的机器,内存16G
tar --use-compress-program=pigz -xvpf hs_sale_1126.tar.gz

top命令看到CPU使用率没有压缩的时候那么高,在50% - 80%之间
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
18241 root 20 0 38676 724 576 S 84.3 0.0 3:34.92 pigz

遇到单个大文件的时候,CPU使用率会比较高一点
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
18241 root 20 0 38676 724 576 R 126.2 0.0 6:47.93 pigz

最后发现只用了40分钟就解压完,之前用了超过2个半小时

之前一直没想tar过用多线程,现在是尝到甜头了,之前怎么就没想过怎么解决压缩解压大文件慢的问题?!!!

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/604394.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号