2018 年了,支持字节级同步(差分编码)的网盘有哪些,技术实现很困难吗?

2018-06-23 23:59:03 +08:00
 xinhugo
带同步功能的网盘,几乎都支持文件级的差异同步(只上传修改过的文件)。但很多都不支持“字节级”的差异同步。

采用这种同步方式,网盘客户端会分析某个文件被修改的部分,然后只上传修改过的那些字节。这里面用到一种技术叫“差分编码”(洋文叫“ Delta Encoding ”)。

测试方法:假如你手头已经有一个加密盘(至少是上百兆的),先把加密盘的“卷文件”同步到网盘。然后在加密盘中“修改某个小文件”或“增加某个小文件”。然后再把加密盘的卷文件同步一次。如果第二次同步很快完成,说明该网盘的客户端支持“字节级差异同步”。


已知 Dropbox 是支持该技术的,网传 OneDrive 已经支持“字节级差异同步”,今天测试发现 OneDrive 竟然无法监测到加密盘的卷文件已经发生变化,把修改后的加密盘的卷文件覆盖修改前的,客户端完整上传整个文件。

Google Drive 还没测试,尝试在网页版上零散文件归类到一个新建目录,观察到客户端是删除本地的文件再重新下载,看起来文件级的差异同步都没有做好。
7743 次点击
所在节点    问与答
25 条回复
dlsflh
2018-06-24 00:29:17 +08:00
Google 做的最差
xinhugo
2018-06-24 01:01:33 +08:00
再次测试了一次 Google Drive 的 Windows 客户端,网页版移动文件,客户端能在本地直接移动而不是直接下载。

加密卷文件和 OneDrive 客户端一样,无法监测到文件的变化,不支持字节级的差异同步。

OneDrive 的差分同步,可能仅限于自家的 Office 文件。
leaf
2018-06-24 01:06:46 +08:00
国内的坚果云应该是支持的
xinhugo
2018-06-24 01:18:36 +08:00
Windows 下本地同一个文件,直接在本地同一位置复制、粘贴,Google Drive / OneDrive 均需要重新完整上传,Dropbox 仍然能秒传,同步功能完全没可比性。
Sharuru
2018-06-24 01:24:07 +08:00
因为做出来用户少呗……

国内有一款叫坚果云的产品支持(官方描述叫“增量备份”),而且个人觉得各方面都用起来比弄丢我文件的 DropFile 顺手。

不仅能够多文件夹任意同步而且还能免费使用 DropFile 收费才能使用的 Smart Sync 功能。
额外还提供了 WebDav,走到哪里都可以简单的使用。

除了付费情况下,总容量没有 DropFile 的大(真的有 1TB 的内容要随时同步?)

可是坚果云不用翻墙,速度爽爽的。
lihua
2018-06-24 01:45:24 +08:00
@Sharuru dropfile 是?
msg7086
2018-06-24 04:23:28 +08:00
跑个题,OneDrive for Business 对文件的每次更改都会进修改历史,而修改历史……是算容量的。
比如你传了个 10G 的文件,然后修改了 10 次 Last Modified Time,你 Quota 里就少了 110G ……
不知道个人版是不是也这样,我没试。不过如果你遇到剩余空间越来越小的情况可以看下这个坑。
Satelli
2018-06-24 07:11:05 +08:00
@lihua 他在 meme drop 掉他 file 的 Dropbox。
xinhugo
2018-06-24 08:55:45 +08:00
@Sharuru 说实在的话,对国内商业软件除了干本职工作外还会主动或被动做些什么是比较担忧的,它的基础设施也在朝内。

看了下坚果云的帮助文件,“压缩文件(常见的压缩文件除了压缩包以外,还包括 jpg,png 和 tiff,各种视频文件等。)和加密过的文件(不包括加密过的 Office 文件),不支持增量同步;”,VeraCrypt 加密卷文件,Dropbox 是能增量同步的,可能技术上 Dropbox 会强一些。


帮助文件没看到相关信息,暂时在 OneDrive 上的资料比较少,还准备传一些工作文件过去,如果真是这样的话,5G 的免费版本两下就没了。
@msg7086
doubleflower
2018-06-24 08:57:45 +08:00
可能是觉得用到的场景不多?一般的文件改一下上传一下也花不了多长时间。如果是大文件的话,视频什么的,都是有特定的编码的,你即使改一点点,整个文件的字节都全变了。
xinhugo
2018-06-24 08:58:27 +08:00
假如你的系统重新安装了,你同步的文件并无变化,重新安装 OneDrive 你的文件需要重新上传?
@msg7086
changwei
2018-06-24 18:02:13 +08:00
你这个算是伪需求吧,国内人备份的都是 doc,xls,或者 mkv,jpg,这种东西有自己的编码,差异备份用处不大,况且微软也有 onedriver,office 也自带修订。如果是数据库,csv 之类的备份有专门的 iaas 做这个。txt 之类的小说就几 kb 更加没有这个必要,代码的话也有版本控制,不单是差异备份,还有修订和回滚,分支功能。实在想不到网盘需要差异备份的场景。
xinhugo
2018-06-24 19:15:15 +08:00
Dropbox 的“字节级差异同步”,支持 doc 甚至加密卷的增量同步,而不需要完整上传整个文件,达到优化上传速度的目的。

txt 之类的小说,测试了一下三百万字会去到 6M 左右;书籍类的 doc 文档,一般也接近 100M。


对于上行带宽资源并不充裕且需要使用代理连接的用户来说,“字节级差异同步”很重要,并不是伪需求。
@changwei
Kagari
2018-06-24 19:58:06 +08:00
#13 请问这个"支持 doc 甚至加密卷的增量同步"里的加密卷是什么,压缩文件、加密的独立分区、加密的 office 文件?
xinhugo
2018-06-25 00:37:34 +08:00
@Kagari VeraCrypt 生成的文件型加密卷。
msg7086
2018-06-25 01:34:20 +08:00
@xinhugo #11 不需要吧。
我是自己在编写 OneDrive 客户端的时候,上传完文件会设置一下修改日期成本地原始日期,结果发现容量成倍地掉,才发现了这个坑。
xinhugo
2018-06-25 05:10:31 +08:00
@msg7086 Google Drive 有这个坑吗?看起来两家在同步功能上都不上心,LAN 同步加速、已有文件秒传这样的基础功能都没有,如果重装系统,岂不是又要上传一遍。
msg7086
2018-06-25 10:20:06 +08:00
@xinhugo 重装系统为什么要重新上传一遍?
GD 我用的无限空间版,所以没法看 Quota。但是应该没这个坑的。(话说 GD 有历史版本么?)
xinhugo
2018-06-25 10:31:15 +08:00
因为已经同步的文件本地拷贝副本后,Google Drive 会完整上传该副本。
历史版本有的,没测试是否占用空间。
@msg7086
msg7086
2018-06-25 10:33:35 +08:00
重装系统的话,文件没变,不会重新上传的,只会重新索引。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/465346

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX