V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MySQL 5.5 Community Server
MySQL 5.6 Community Server
Percona Configuration Wizard
XtraBackup 搭建主从复制
Great Sites on MySQL
Percona
MySQL Performance Blog
Severalnines
推荐管理工具
Sequel Pro
phpMyAdmin
推荐书目
MySQL Cookbook
MySQL 相关项目
MariaDB
Drizzle
参考文档
http://mysql-python.sourceforge.net/MySQLdb.html
Sevnx
V2EX  ›  MySQL

大文件导入 MYSQL,如何最快速。

  •  
  •   Sevnx · 2014-07-22 20:20:21 +08:00 · 4560 次点击
    这是一个创建于 3537 天前的主题,其中的信息可能已经有所发展或是发生改变。
    现有一个文本文件,5G,一条记录一行,总共两千多万条
    每条记录都有固定格式。
    有什么方法能快速导入?
    用python一条一条插入,感觉效率很低。
    8 条回复    2014-07-23 07:01:47 +08:00
    p2p
        1
    p2p  
       2014-07-22 20:40:13 +08:00   ❤️ 1
    The LOAD DATA INFILE statement reads rows from a text file into a table at a very high speed.
    hjse7en
        2
    hjse7en  
       2014-07-22 21:11:06 +08:00
    LOAD DATA INFILE
    fisherv
        3
    fisherv  
       2014-07-22 21:12:54 +08:00
    那么大的文件...
    Sevnx
        4
    Sevnx  
    OP
       2014-07-22 21:17:13 +08:00 via Android
    @fisherv
    @hjse7en
    @p2p
    谢了。已经搞定了。
    dekinr
        5
    dekinr  
       2014-07-22 21:38:14 +08:00
    咋搞定的,求分享 @Sevnx
    lijinma
        6
    lijinma  
       2014-07-22 22:09:24 +08:00
    如果是我,我会把 大文件记录----》生成 SQL 语句 ------》 source

    不知道会不会快一点?
    Sevnx
        7
    Sevnx  
    OP
       2014-07-22 22:41:36 +08:00 via Android
    刚跑完。就一楼那个指令。跑到现在了 。也不是很快。。
    @dekinr
    monkeylyf
        8
    monkeylyf  
       2014-07-23 07:01:47 +08:00
    batch load/batch write
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5897 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 02:15 · PVG 10:15 · LAX 19:15 · JFK 22:15
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.