首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
V2EX  ›  问与答

nodejs 插入 ElasticSearch 的 api 操作直接异步执行了,插入数据太多 如何保持低速比较好

  •  
  •   whereabouts · 2018-07-28 11:46:43 +08:00 · 994 次点击
    这是一个创建于 497 天前的主题,其中的信息可能已经有所发展或是发生改变。
    用了 ElasticSearch 官方的 nodejs 包,发现
    ElasticSearchClient.index({
    index; "name",
    type: "name",
    body: someJson},
    function(err, resp, status){ dosomething..}
    });

    是直接异步执行了,对于数据仓库几千万行直接就蹦了,循环插入就机器资源撑不住。
    希望能保持每时每刻并发插入几百个,每个插入线程(形容不准确)插入完了再插入下一个,类似线程池的概念。
    NodeJs 有什么比较好的方法吗?
    6 回复  |  直到 2018-07-28 17:22:05 +08:00
        1
    richard1122   2018-07-28 12:47:18 +08:00 via iPhone   ♥ 1
    http://bluebirdjs.com/docs/api/promise.map.html

    第三方的 promise 实现自带了并发限制,或者随便找个现成的库
        2
    ctsed   2018-07-28 12:47:37 +08:00 via Android
    async.js queue
        3
    hcymk2   2018-07-28 13:12:15 +08:00
    bulk
        4
    noe132   2018-07-28 15:49:41 +08:00   ♥ 1
    我之前写的一个异步队列的程序,
    用的是 TokenBucket + 并发控制,
    TokenBucket 就是基础的令牌桶,我用 ts 简单实现的。



    通过 TokenBucket 来限制任务的最大并发速度
    通过 concurrecy 来限制异步队列的最大数目
    这样并发数能控制下来, 异步队列也不会一次推入过多爆掉

    判断没有任务可做,并且 concurrency 为 0 时就做完了,就可以调用 tokenBucket.destroyed()销毁定时器。

    还可以自己封装一下,提高抽象级别
        5
    noe132   2018-07-28 15:51:49 +08:00   ♥ 1
    我写了个滑动窗口测速,上面的并发限制基本很准,误差在±5%左右,和 token bucket 的一些参数有关。
        6
    BXIA   2018-07-28 17:22:05 +08:00 via iPhone
    bulk
    最差也能 promise 串一遍
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2440 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 24ms · UTC 08:53 · PVG 16:53 · LAX 00:53 · JFK 03:53
    ♥ Do have faith in what you're doing.