tar 多线程加速打包速度

tar 多线程加速打包速度


tar --use-compress-program=pigz -h -cvpf  Homo_sapiens.GRCh38.dna.toplevel.tar.gz *





tar多线程压缩解压

tar -czvf a.tar.gz ./*
测试每分钟压缩包a.tar.gz增长大约300M

安装多线程程序

 yum -y install pigz

实测,4核的机器,2G文件用了不到1分钟

 tar --use-compress-program=pigz -cvpf b.tar.gz ./*

top看到系统CPU使用率是390%+

解压测试:41G 的文件,4核的机器,内存16G

 tar --use-compress-program=pigz -xvpf hs_sale_1126.tar.gz

top命令看到CPU使用率没有压缩的时候那么高,在50% - 80%之间
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
18241 root 20 0 38676 724 576 S 84.3 0.0 3:34.92 pigz

遇到单个大文件的时候,CPU使用率会比较高一点
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
18241 root 20 0 38676 724 576 R 126.2 0.0 6:47.93 pigz

最后发现只用了40分钟就解压完,之前用了超过2个半小时

  • 发表于 2022-04-07 10:32
  • 阅读 ( 269 )
  • 分类:linux

你可能感兴趣的文章

相关问题

0 条评论

请先 登录 后评论
omicsgene
omicsgene

生物信息

532 篇文章

作家榜 »

  1. omicsgene 532 文章
  2. 安生水 252 文章
  3. Daitoue 167 文章
  4. 生物女学霸 120 文章
  5. 红橙子 78 文章
  6. CORNERSTONE 72 文章
  7. 生信老顽童 48 文章
  8. landy 37 文章