V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
kikione
V2EX  ›  程序员

mysql 表里数据 清洗 整理的问题

  •  
  •   kikione · 2020-11-27 11:50:31 +08:00 · 1605 次点击
    这是一个创建于 1217 天前的主题,其中的信息可能已经有所发展或是发生改变。

    第一次接触数据方面的业务。

    需求是这样: 有五六张表,都是接近 1 千万的数据。想对这几张表进行清洗,然后根据业务 生成几张新的表。

    请问 java 方面有哪些比较高效的技术?一般的方案都是怎么处理的?

    3 条回复    2020-11-28 09:16:04 +08:00
    hejw19970413
        1
    hejw19970413  
       2020-11-27 12:11:17 +08:00
    我以前用 SQL 的语句干过,大量的数据用 SQL 处理后,一定会有错误的数据,那就得人手动的写脚本执行清洗。
    zhangysh1995
        2
    zhangysh1995  
       2020-11-27 15:09:08 +08:00
    这好像不是个 mysql 问题,是个数据处理和 Java 方案问题?
    hezeming
        3
    hezeming  
       2020-11-28 09:16:04 +08:00
    有错误的数据写的 mysql 脚本加判断应该可以避免吧,还是说有什么意外的场景
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1181 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 23:06 · PVG 07:06 · LAX 16:06 · JFK 19:06
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.