两份一模一样的文件,在两台一样的服务器上被压缩,压缩后的文件校验值会一样吗

2021-09-26 14:00:57 +08:00
 LxnChan

如题 假设有两台一模一样的服务器,但是不在一个省,采用同样的参数不同时间压缩一份一模一样的文件,出来的压缩文件校验值会一样吗

6432 次点击
所在节点    Linux
26 条回复
oksbsb
2021-09-26 14:07:55 +08:00
不一定,即时是同一个机器也不一定。还要看是什么压缩算法
muzuiget
2021-09-26 14:08:35 +08:00
问题你是在于你如何保证和定义“参数一模一样”。
libook
2021-09-26 14:11:52 +08:00
如果真的是完全一致的文件元信息、完全一致的文件内容、完全一致的压缩算法和参数,压出来的文件的校验值理论上应该是一样的。
但实际有很多变数,比如你在把文件从一台服务器上复制到另一台服务器是否确保文件的修改时间一致,哪怕内容一样,修改时间不同也会导致校验值不同。
感觉像个 X-Y 问题,可以说一下这个需求的背景,看是不是需要调整探索的方向。
shoco
2021-09-26 14:17:27 +08:00
看用什么类型的压缩软件,一般压缩软件会把压缩时间作为参数放入到压缩文件里面, 那么一样的可能性为 0
chengyiqun
2021-09-26 14:53:59 +08:00
很多时候, 会, rar5 加恢复记录后, 不会.
life4me
2021-09-26 15:25:59 +08:00
函数一样,参数一样,结果一样
momocraft
2021-09-26 15:27:27 +08:00
有 timestamp 的文件格式一定不一样 不要假定一样
WordTian
2021-09-26 16:16:22 +08:00
有 timestamp 的,大概率会不一样
LGA1150
2021-09-26 16:21:28 +08:00
参考一下 OpenWrt 的打包命令 https://github.com/openwrt/openwrt/blob/master/include/download.mk

tar --numeric-owner --owner=0 --group=0 --mode=a-s --sort=name --mtime="$TAR_TIMESTAMP" ...
HankLu
2021-09-26 16:26:11 +08:00
为什么会有这种问题?
GrayXu
2021-09-26 19:17:33 +08:00
@libook 话说 md5 之类的只是校验文件内容吧?
msg7086
2021-09-26 19:41:33 +08:00
可以一样,只要把其中的不确定因素排除就行。典型的因素包括时间。不含时间信息的压缩可以做到一致。(这算是 reproducible 可重复制作性。)
ch2
2021-09-26 19:45:12 +08:00
压缩包里会额外加元数据的那种肯定不一样
sadfQED2
2021-09-26 20:16:38 +08:00
你先在同一台机器上压缩同一个文件两次,看看是不是一样的
TomChaai
2021-09-26 21:10:56 +08:00
你首先要定义什么叫“一模一样”的文件。时间是否包含在“一模一样”的范围内。
文件系统、数据结构的实现不同,可能会导致不一样的结果,比如文件元数据被当成文件的一部分这种事,是否包括在你的题设内。
liuidetmks
2021-09-26 21:16:44 +08:00
这是一个 xy 问题,请说出你当前真实需求
wangkun025
2021-09-26 21:24:53 +08:00
我试过。同一台机器上对同一个文件进行 gzip,md5 不一样。
smdbh
2021-09-26 22:03:42 +08:00
文件时间这些,是存在文件里的吗??
Trim21
2021-09-26 22:33:00 +08:00
以 zip 为例,zip 文件里有每个被压缩文件的修改时间。把这一项写 0 也不影响解压。
rrfeng
2021-09-26 22:36:41 +08:00
时间什么的都是参数,其实关键是压缩算法。

我可以写个随机压缩算法,只要能解压你管我每次压缩成什么样子呢。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/804355

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX