问下现在 Linux 监控海量文件+两端同步的正确姿势是什么?

2020-09-27 10:25:00 +08:00
 ssbg2
如题,公司 OA 系统有两台文件服务器,里面积攒了从 10 年到现在的几乎所有文件,文件挺多但倒是不大,因为绝大多数都是些图片、文档之类的。
然后本身是在阿里云托管的,似乎也不用太担心意外导致数据丢失的问题(每个月还会手动备份一次到本地)。
但是最近老板觉得这个东西还是存在本地好,迁移倒是很简单,可是总得做异地热备吧,搜了下,说是 inotify+unison 的方案是比较高效的,参照的教程是这个:
https://cloud.tencent.com/developer/article/1333957

结果我发现这个方法每次有变动都会扫描所有文件,造成了延时高、资源占用大的问题,没办法使用。

后来又搜了下,说是还是通过脚本来调用 rsync 是比较科学的( inotify+rsync ),教程如下:
https://developer.aliyun.com/article/679345

请问下大家一般都是怎么做的?


==================================================================
哦,对了,监控其实只监控新增,所以不牵扯到文件内容的比较。
2374 次点击
所在节点    Linux
10 条回复
zpfhbyx
2020-09-27 10:27:22 +08:00
inotify + rsync
ssbg2
2020-09-27 10:28:02 +08:00
@zpfhbyx 嗯,谢谢了
weyou
2020-09-27 10:36:47 +08:00
syncthing
d0m2o08
2020-09-27 11:03:21 +08:00
我用的 lsyncd 本质还是 inotify + rsync
mingl0280
2020-09-27 11:40:46 +08:00
rsync...
lengyihan
2020-09-27 13:04:42 +08:00
syncthing 。
tieqishan07li
2020-09-27 13:51:42 +08:00
阿里云的话,可以放到 oss 里,然后用 ossfs 工具把 bucket 挂载到本地。
wangyzj
2020-09-27 16:03:06 +08:00
为啥不放 oss
flynaj
2020-09-27 23:13:46 +08:00
syncthing 简单方便
shellus
2020-09-28 10:48:51 +08:00
syncthing 就是 inotify+rsync 的原理
但是多了 gui 和 p2p
更高级,更好用,更简单
毕竟 inotify+rsync 是两个基础命令结合使用
而 syncthing 是面向最终用户的软件

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/710826

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX