首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
V2EX  ›  问与答

表单提交 10w 行数据

  •  
  •   Ironsongming · 2017-09-15 12:00:45 +08:00 · 1561 次点击
    这是一个创建于 815 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现在做一个保存功能,允许添加 10w 左右的商品,现在前端保存的时候,需要直接提交上来,但是这样对内存的负担很大,有没有好一点的替代方案?

    9 回复  |  直到 2017-09-15 17:41:52 +08:00
        1
    wellsc   2017-09-15 12:06:27 +08:00
    改成文件提交,服务器接受之后起个进程 parser 一下,然后存进数据库?
        2
    sfree2005   2017-09-15 12:09:42 +08:00 via Android
    是需要改成文件提交的,文件上存到服务器器之后再读取输入到数据库
        3
    oh   2017-09-15 12:15:04 +08:00 via iPhone
    好想知道这 10w 数据难道是手工录入的…?
        4
    gamexg   2017-09-15 12:18:51 +08:00 via Android
    如果不是浏览器内存大,那么也可以前端拆分后分批提交。
        5
    yidinghe   2017-09-15 12:38:41 +08:00 via Android
    文件导入,导入的格式最好是能一次读取一条记录的那种。
        6
    doubleflower   2017-09-15 12:55:18 +08:00
    10w 记录的文件才多大内存,对服务器小 case 了吧
        7
    LxExExl   2017-09-15 14:29:51 +08:00
    一个商品 1K 字 2KB
    100K 商品 2KB*100K=200M 对内存负担很大? 这才哪到哪
        8
    roricon   2017-09-15 15:41:33 +08:00
    做成文件, 然后把 request 当做流来处理. Django 的例子 https://docs.djangoproject.com/en/1.11/ref/request-response/#django.http.HttpRequest.__iter__
        9
    Ironsongming   2017-09-15 17:41:52 +08:00
    @LxExExl 200M。。。。。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1835 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 25ms · UTC 16:20 · PVG 00:20 · LAX 08:20 · JFK 11:20
    ♥ Do have faith in what you're doing.