首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
V2EX  ›  问与答

求助, mysql 怎么快速导入 10 个 G Sql 文件,大概有 4kw 数据

  •  
  •   yiome404 · 84 天前 · 1033 次点击
    这是一个创建于 84 天前的主题,其中的信息可能已经有所发展或是发生改变。

    因为 sql 的文件带索引,我尝试修改 mysql 的配置,然后用 source 导入速度很不理想,24 小时才导入了 1.8kw ,有大佬指下方向吗?

    18 回复  |  直到 2019-08-23 10:35:10 +08:00
        1
    cuixiao603   84 天前
    也是困扰我的一个问题
        2
    yiome404   84 天前
    @cuixiao603 http://note.youdao.com/noteshare?id=57e8cc049322e22db3fed23e4deac8e6 目前这样,不知道有没有更快的方法,现在 1s 大概 3k (不准确统计)
        3
    yiome404   84 天前
    这样的速度,理想化也需要 3 个小时左右...
        4
    cubecube   84 天前 via Android
    下次别导出 sql 会快点
        5
    yiome404   84 天前
    @cubecube 嗯,确实是这样
        6
    yiome404   84 天前
    啥都不如直接复制 sql 的文件快
        7
    chinesestudio   84 天前 via Android
    物理机 ssd 集群 十几分钟就搞定了
        8
    yiome404   84 天前
    @chinesestudio 单机,普通硬盘,理想状态下 4 个小时...后悔呀,复制 mysql 文件,不导出 sql 都会比这个效率高,没办法了
        9
    justgodlike1993   84 天前
    SET SQL_LOG_BIN =0 ;试试
        10
    mchl   84 天前 via iPhone
    mysql -u username -p < /path/to/dump.sql
        11
    msg7086   84 天前 via Android
    先问是不是 SSD。
    当年很出名的一个事,有个公司没用 SSD,跑 MySQL 升级跑了 9 个月还是多少来着,还没跑完,成为笑柄。
        12
    gam2046   84 天前
    不确定有没有用,考虑一下先不建立索引,关闭事务,全部导入完成以后,再一次性建索引?
        13
    aaronchou0   84 天前
    我每周都要导 30G+ 8kw+行的数据,用时最多不超过 50 分钟。10G 4kw 的话最多也就 20 分钟。
        14
    sr0miao   84 天前
    不会这样吧,我到处 200 个 G 数据大概 5 个小时啊,企业级的机械硬盘
        15
    sr0miao   84 天前
    试试导出的时候带 -e --max_allowed_packet=xx --net_buffer_length==xx 参数,可以设大一点,不然就是硬盘的问题了
        16
    aaronchou0   84 天前
    @sr0miao 你导出跟我导入速度差不多了。我这个是个破虚拟机 4C8G
        17
    sr0miao   84 天前
    @aaronchou0 说错了,是导入。。
        18
    sr0miao   84 天前
    @aaronchou0 这个跟你虚拟机没关系啊,使用 sql 文件导入影响导入速度的主要因素 sql 文件构成和磁盘速度(决定因素)。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   4285 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 25ms · UTC 06:08 · PVG 14:08 · LAX 22:08 · JFK 01:08
    ♥ Do have faith in what you're doing.