首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  程序员

批量迁移实现方案求助

  •  
  •   playnoa · 123 天前 · 1452 次点击
    这是一个创建于 123 天前的主题,其中的信息可能已经有所发展或是发生改变。

    背景

    现在有很多服务器需要迁移上云,之前需要数据同步到云上的新机器非集中式,需要 A->A,B->B 的对应方式,我已经用脚本加上 expect 实现了首次自动化处理,但是在同步方式上没有找到合适的软件或工具来做实时同步;

    要求

    尽量不动生产服务器(原服务器)(每台大约 100G 以内的数据)

    过程

    1. rsync + inotify
    2. lsyncd + ssh

    方式 1 得安装配置 client,而且网上对于这种同步方式在大量数据的情况下,目录对比和灵敏性方面很不如意;它不知道哪个文件修改了,而是用全部目录对比的方式进行同步,这也太傻了,还有就是它的是从 原到新的同步方式,有点像备份,就是用“推”的方式,我更希望是从 新到原 的方式,就新机器从原机器“拉”数据

    方式 2 lsyncd 封装了 rsync+inotify,但是工作方式也是推数据的方式

    Google 都搜烂了,也没找到方法,是我的思路不对?

    17 回复  |  直到 2019-08-05 21:40:19 +08:00
        1
    billlee   123 天前
    没看明白,为什么需要 inotify, 直接 rsync 不行吗?
        2
    oott123   123 天前 via Android
    你要实时同步,就要推,这是个逻辑问题
        3
    playnoa   123 天前 via Android
    @billlee 直接不行,首次同步完成后,就是实时增量了,只同步修改的,所以需要 inotify 来知道哪个文件的变动
        4
    playnoa   123 天前 via Android
    @oott123 你的意思是只能主从逻辑?生产环境批量修改难度很大,不能有一点失误;要是有一种能够跟随监测同步就好了
        5
    openwrt   122 天前
    其实 rsync 没什么不好,全目录对比花不了多少时间。推和拉实际上并没有本质区别,如果你想用拉的方式,完全可以在新机器上运行 rsync 命令去旧服务器上拉。
        6
    msg7086   122 天前
    你是说 SyncThing 么?
        7
    hawhaw   122 天前 via Android
    rsync 也可以指定某些文件做同步吧,不一定都会全目录做对比
        8
    opengps   122 天前 via Android
    阿里云的话,有快递硬盘业务
        9
    playnoa   122 天前 via Android
    @hawhaw 在需要同步的目录下有很多子目录,要监测这整个目录的变化,它的工作方式就是从指定的目录起到最深处的目录树
        10
    playnoa   122 天前 via Android
    @openwrt 不想用推的方式其实是不想动生产服务器,因为多,得批量操作,有风险
        11
    playnoa   122 天前 via Android
    @msg7086 我查查这个
        12
    playnoa   122 天前 via Android
    @msg7086 我查,查这个
        13
    playnoa   122 天前 via Android
    @opengps 我问问云厂商有啥好办法
        14
    figael   122 天前
    怎么同步,应该不是问题,关键是你什么时候切,切完是否要强一致。
        15
    billlee   122 天前
    @playnoa #3 你是要不停机迁移?没必要这样搞吧?
        16
    playnoa   122 天前 via Android
    @billlee 不能停机,就是因为卡在同步方式上
        17
    playnoa   122 天前 via Android
    @figael 一针见血,同步方式决定着数据的完整性,也影响着切换的质量
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1693 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 27ms · UTC 16:43 · PVG 00:43 · LAX 08:43 · JFK 11:43
    ♥ Do have faith in what you're doing.