首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  程序员

关于数据同步的有效性校验

  •  
  •   PazuLee · 2018-02-09 13:40:16 +08:00 · 1154 次点击
    这是一个创建于 562 天前的主题,其中的信息可能已经有所发展或是发生改变。
    如题,数据同步,类似定时任务啊实时数据同步之类的,有没有一些好的做数据校验的思路?
    8 回复  |  直到 2018-02-11 08:58:58 +08:00
        1
    dissvm   2018-02-09 13:56:25 +08:00 via iPhone
    楼下第一眼看成有效性经验的举手🙋‍♂️
        2
    qumingkunnan   2018-02-09 15:44:53 +08:00
    之前有个项目,Java 的。 一个类里面包含常用的校验规则,每个数据表实现一个,然后解析的时候同时校验,没有涉及同步这个事儿,只是校验
        3
    PazuLee   2018-02-09 15:51:05 +08:00
    @dissvm 哈哈哈哈哈
    @qumingkunnan 对,其实同步的痛点是怎么保证和源数据的一致,尤其是经过一部分业务逻辑处理的。这个目前只想到查询数据源去比对,但是感觉效率比较低。
        4
    0Kelvin   2018-02-09 15:54:16 +08:00
    数据序列化,计算 md5,传递,接收校验。
    没实际操作过,不知道思路对不对,(逃
        5
    qumingkunnan   2018-02-09 16:36:35 +08:00
    @PazuLee 模仿 http 握手机制呢
        6
    PazuLee   2018-02-09 16:40:06 +08:00
    @0Kelvin md5 可能存在某些局限性,因为通常存在痛点的场景是对数据做了加工改造,一旦与源数据格式不同可能 MD5 方式就失效了。:(
        7
    PazuLee   2018-02-09 16:40:23 +08:00
    @qumingkunnan 这个倒是没有考虑过,怎么讲呢~
        8
    qumingkunnan   2018-02-11 08:58:58 +08:00
    @PazuLee 我们应用场景是提供数据文件包给一些使用方,有客户端服务端,每次传输文件都采用回执方式确认数据完整已达,详细的不是特别了解,因为不开源,对内部都不开源…………
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3189 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 22ms · UTC 01:08 · PVG 09:08 · LAX 18:08 · JFK 21:08
    ♥ Do have faith in what you're doing.