首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
华为云
V2EX  ›  问与答

有没有能使 MongoDB 定期增量备份到远程服务器并清除已备份数据的方案?

  •  
  •   qq316107934 · 277 天前 · 1036 次点击
    这是一个创建于 277 天前的主题,其中的信息可能已经有所发展或是发生改变。

    在某云上写了一个爬虫监控某个系统的实时数据,每天有 3GB 的数据量,但云硬盘很小,剩余空间只够三天的用量。

    请问有没有什么方案能够将这段时间产生的数据全部导出并移除,或者直接远程同步(异步)到另一个 MongoDB 服务器上。想过直接 dump+remove,但是在执行操作的时候爬虫产生的数据可能没被 dump 就 remove 了。

    谢谢~

    第 1 条附言  ·  277 天前
    加 fsync 锁解决了= =谢谢大家
    4 回复  |  直到 2018-01-14 21:38:36 +08:00
        1
    h4lbhg1G   277 天前   ♥ 1
    两个表,如果日期是奇数使用 A 表,日期是偶数使用 B 表,那么你有一天的时间来导出同步表。

    日期切换做在最后一次采集完成后。然后切表,同时触发同步操作。


    其实是我 YY 的,我完全不懂 MongoDB
        2
    qq316107934   277 天前
    @h4lbhg1G #1 感谢回答,这样要在爬虫里做判定,还可以一天一个 collection,但是其实是有多个 collection 存在的,这样做可能不方便管理,我想从数据库层面解决这个问题。
        3
    just1   277 天前 via Android   ♥ 1
    b 定时从 a 获取数据,入库,导入成功把后把这边已经入库的 id 返回去 a,让 a 删除。这样或许可行?
        4
    ray8888   277 天前
    mongo 有个 oplog,就是操作日志,可以重放所有操作,基于 oplog 好像可以实现增量备份,也可以防止 dump 过程中的数据操作丢失,lz 查查这个
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2002 人在线   最高记录 3762   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.1 · 16ms · UTC 11:48 · PVG 19:48 · LAX 04:48 · JFK 07:48
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1