免费JIZZ大全

tar 多線程加速打包速度

tar 多線程加速打包速度


tar --use-compress-program=pigz -h -cvpf? Homo_sapiens.GRCh38.dna.toplevel.tar.gz *





tar多線程壓縮解壓

tar -czvf a.tar.gz ./*
測試每分鐘壓縮包a.tar.gz增長大約300M

安裝多線程程序

 yum -y install pigz

實測,4核的機器,2G文件用了不到1分鐘

 tar --use-compress-program=pigz -cvpf b.tar.gz ./*

top看到系統CPU使用率是390%+

解壓測試:41G 的文件,4核的機器,內存16G

 tar --use-compress-program=pigz -xvpf hs_sale_1126.tar.gz

top命令看到CPU使用率沒有壓縮的時候那么高,在50% - 80%之間
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
 18241 root 20 0 38676 724 576 S 84.3 0.0 3:34.92 pigz

遇到單個大文件的時候,CPU使用率會比較高一點
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
 18241 root 20 0 38676 724 576 R 126.2 0.0 6:47.93 pigz

最后發現只用了40分鐘就解壓完,之前用了超過2個半小時

  • 發表于 2022-04-07 10:32
  • 閱讀 ( 1474 )
  • 分類:linux

你可能感興趣的文章

相關問題

0 條評論

請先 登錄 后評論
omicsgene
omicsgene

生物信息

560 篇文章

作家榜 ?

  1. omicsgene 560 文章
  2. 安生水 257 文章
  3. Daitoue 167 文章
  4. 生物女學霸 120 文章
  5. 紅橙子 78 文章
  6. CORNERSTONE 72 文章
  7. 生信老頑童 50 文章
  8. landy 37 文章