rsync vs lftp?VPS 每天备份大量文件,哪家强?

2014-10-27 17:56:15 +08:00
 X-Force
大家有没实际测试对比过的?

主要是备份(同步)目前已有的大量图片。每天主要是新增文件,但数量不多,对旧文件的修改很少(偶尔删除几张图而已)。

最初为了方便不用安装配置 rsync,随手写了一个 lftp 的脚本跑到现在,每天都要跑个2、3小时,95%以上的时间都是在遍历旧文件。

这个,换成 rsync 会明显比 lftp 快吗?
9604 次点击
所在节点    DevOps
16 条回复
yanwen
2014-10-27 18:07:36 +08:00
bittorrent sync 比较好用。。
lemonda
2014-10-27 18:25:27 +08:00
速度不知道,我用 duplicity
aa65535
2014-10-27 18:32:14 +08:00
rsync -au --delete --force $BASE $DEST
满足你的需求
20150517
2014-10-27 19:31:41 +08:00
我公司同步mongodata,400gb-800gb全球部署,都是用lftp,rsync好像不能多线程,lftp能多线程,速度基本能跑满
guoguoer
2014-10-27 19:49:23 +08:00
加了文件日期不一致才上传的情况下?
要不就先用find把新文件找出来传。
rrfeng
2014-10-27 19:50:45 +08:00
这种需求最好的方式就是不对比直接传差异~
leopku
2014-10-27 23:37:46 +08:00
bittorrent sync +1
cevincheung
2014-10-27 23:41:18 +08:00
无论什么方案,在阿里云上都不行。。。
X-Force
2014-10-27 23:53:16 +08:00
@cevincheung 为何?
mechille
2014-10-27 23:58:16 +08:00
现在在用git,也经常用rsync,偶尔lftp。

个人喜欢前两者,lftp若不是某些图片云服务必须要用,一般不会选择它,实在太慢(尤其是有文件夹结构的时候)
decken
2014-10-27 23:59:05 +08:00
btsync 貌似v2ex就是这样同步的
cevincheung
2014-10-28 01:10:02 +08:00
@X-Force
rsync 两台机同步1t的文件,其中800g的图片文件,零碎小文件。两天没完。内网。

阿里云硬盘读写都在10MBs/s左右,当处理大量小图片时,在1000KB/S左右。白天在2K/s-600K/s左右。
看着iotop的结果,我也是醉了。
ctexlive
2014-10-28 03:06:50 +08:00
当然用rsync了。它不需要每次遍历旧文件,或者不会像lftp那么蠢,从零开始遍历。否则我的几百G的文件同步岂不是要疯掉。
LazyZhu
2014-10-28 08:34:24 +08:00
lftp 支持 ftp/http吧,而rsync不行,看使用环境吧
msg7086
2014-10-28 08:38:55 +08:00
ftp不适合那么大量的文件。rsync相对更快一些。
wanwangkangluo1
2014-10-28 10:08:23 +08:00
backupPc

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/141888

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX