V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
jusalun
V2EX  ›  数据库

利用 kettle 做 ETL,性能调优

  •  1
     
  •   jusalun · 2018-03-02 10:24:45 +08:00 · 1178 次点击
    这是一个创建于 1366 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近在做架构迁移,sqlserver 到 mysql 的,涉及表拆分,业务表整合

    拆分和整合等业务层面对数据表的转换我在 sqlserver 端用视图处理掉了,目前是用 kettle 做数据传输

    现在有个问题,性能跟不上,每秒处理数据量才 7000 多,sqlserver 待迁移的数据库有 800G,跑了快一天都没跑完仿真测试

    数据源是线上 slave 机器,配置为 E5 2678 256G 内存,配置给 kettle 20G

    mysql 部署在本地内网虚拟机,分配 4 核心,32G 内存

    公司带宽 100m

    想问问大家 kettle 除了调整内存使用外还有什么参数可以设置

    7 条回复    2018-03-03 11:19:08 +08:00
    p216085
        1
    p216085   2018-03-02 10:43:16 +08:00
    单表 7000 的话还可以啊~
    p216085
        2
    p216085   2018-03-02 10:44:09 +08:00
    如果是总共 7000 的话~需要具体分析~
    Martin9
        3
    Martin9   2018-03-02 11:47:44 +08:00
    我们公司用的是 DMExpress,搜了一圈好像都没别的在用,碰到 bug 很绝望
    twtiyb
        4
    twtiyb   2018-03-02 12:42:01 +08:00
    只是做传输,你看下 datax
    SlipStupig
        5
    SlipStupig   2018-03-02 12:55:05 +08:00
    kettle 本身速度一般,除了改内存以外可以改一下 GC 算法比如用 G1gc, 用 jvm server 模式,然后再就是改 Mysql 和 MSSQL 的配置,eg:mysql 可以修改线程池写入线程数
    haiyang5210
        6
    haiyang5210   2018-03-02 19:11:43 +08:00
    单表能破万么
    buliugu
        7
    buliugu   2018-03-03 11:19:08 +08:00
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2331 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 09:44 · PVG 17:44 · LAX 01:44 · JFK 04:44
    ♥ Do have faith in what you're doing.