压缩大文件,比如 200G 或者 500G 的文件,有啥相对快速的方案嘛?

2020-05-31 00:30:59 +08:00
 tyit
5054 次点击
所在节点    Linux
11 条回复
gargar
2020-05-31 08:55:46 +08:00
看具体情况吧。
一般瓶颈在压缩算法。
有的快,但压缩率低。
有的压缩算法支持并行,可以多线程。
evilic
2020-05-31 09:22:54 +08:00
采用存档压缩。。。。这算不算是有效的回答。。。
deasty
2020-05-31 09:45:10 +08:00
@evilic 这应该叫打包吧,压缩的目的不是让文件变小吗
nightwitch
2020-05-31 11:01:26 +08:00
evilic
2020-05-31 12:52:47 +08:00
@deasty #3 我认为方便传输也算是压缩的目的之一。。。举例来说,一个由单张 4M 大小 jpg 组成的一个 500G 文件夹传输起来可能会让人等好久的,压缩之后在传输的时候速度就会很快呀。
learningman
2020-05-31 14:03:15 +08:00
LZMZ2 可以跑多线程
但是瓶颈说不定是 IO 。。。
learningman
2020-05-31 14:04:16 +08:00
@evilic 你这个需求打个 tar 就行了,只有 IO 作为瓶颈
压缩解压的时间绝对大于那 5%3%的压缩率省下来的时间
aloxaf
2020-05-31 19:01:31 +08:00
更高的速度通常都是以更低的压缩比为代价的,你需要根据场景自行权衡。
LZ 可以试试 lz4, lzo
zhujoen
2020-05-31 20:56:32 +08:00
pied piper
你值得拥有 [手动狗头]
noreplay
2020-06-01 07:51:33 +08:00
@zhujoen 不是会引来老鼠🐀吗?
ps1aniuge
2020-06-02 13:25:45 +08:00
我觉得楼主的问题,可以改为,“linux 下有哪些压缩软件,支持多线程压缩?”

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/677094

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX