有人用 syncthing 同步过 10W+ 文件吗？还有其他替代方案吗？

[allanpk716]

如题，少量文件之前用了，可以正常。最近同步 10W+ 文件（都是 100kb 左右的东西），几天了文件夹结构的同步了，文件都没得同步上。

两台机器都有外网 IP ，也开启了 22000 端口外网访问的权限。

两台机器都是 Linux 服务器，还有其他的替代方案吗？不用实时性很高的同步，就是要数据的完整性有要求。（不太想自己再写一个玩意来做同步）

[kokutou]

rsync 一句话...

[Buges]

可以先用其他方式复制到目标机器再开始同步。ayncthing 同步海量小文件是没问题的，就是速度有点慢。

[jacyl4]

5w 大大小小的文件同步。没遇到什么问题。跨境同步的话，我是给 syncthing 套上代理同步的。

[initd]

tgz, 先 tar 存储所有文件, 再 gzip 压缩刚才的 .tar 单文件

[k9982874]

传 s3 再拖回来

[leavic]

我觉得，但凡动点脑子都应该考虑#4 的建议。文件检索浪费的时间可能比网络传输还多。

[v2tudnew]

没看明白，你特意说端口是没有连上还是文件无法同步？

[allanpk716]

@leavic 时机情况是这 10W+ 文件大概有 12GB ，服务器没有多余空间压缩存储

[allanpk716]

@v2tudnew 为了避免讨论使用这个软件的配置问题

[allanpk716]

@k9982874 也想过，最后选择了 resilio-sync

[allanpk716]

最后选择了 resilio-sync 一个晚上同步搞定。在删除 syncthing 同步文件的时候发现，其实它有同步一点文件（ 1GB 多），但是 UI 界面的数据呈现是有问题的（一直显示同步的文件个数是 0 ，文件夹个数同步是完整的），但是它实在太慢，挂机几天了也搞不定。

[v2tudnew]

@allanpk716 #11 你这个数量级的我也用 syncthing 测试过了，15.6W 文件 6.3GB ，超过 7W 文件不到 10KB 。
同步倒是能同步，一个文件不差，而且都是完整的，但是太慢了，同步 4-5 小时，还不如压缩打包传。

[allanpk716]

@v2tudnew 你当时看了 WebUI 的传输进度正确嘛？我昨天就是看起来不正确，流量统计和数量统计都没有更新，才以为是失败的。resilio-sync 这个的资源暂用挺大的，400 MB 内存打底，syncthing 只需要一半内存。

[v2tudnew]

@allanpk716 #13 进度这个没法看，它这个好像是根据文件数量百分比来的，我只是发现传输还剩 2-3GB 的时候都是小文件，几十 KB 的传。你这个应该是卡住了，边传输边读写文件它确实有一定几率异常。