nodejs 插入 ElasticSearch 的 api 操作直接异步执行了，插入数据太多如何保持低速比较好

This topic created in 2934 days ago, the information mentioned may be changed or developed.

用了 ElasticSearch 官方的 nodejs 包，发现
ElasticSearchClient.index({
index; "name",
type: "name",
body: someJson},
function(err, resp, status){ dosomething..}
});

是直接异步执行了，对于数据仓库几千万行直接就蹦了，循环插入就机器资源撑不住。
希望能保持每时每刻并发插入几百个，每个插入线程（形容不准确）插入完了再插入下一个，类似线程池的概念。
NodeJs 有什么比较好的方法吗？

插入

Nodejs

异步

name

6 replies • 2018-07-28 17:22:05 +08:00

richard1122

Jul 28, 2018 via iPhone

http://bluebirdjs.com/docs/api/promise.map.html

第三方的 promise 实现自带了并发限制，或者随便找个现成的库

ctsed

Jul 28, 2018 via Android

async.js queue

hcymk2

Jul 28, 2018

bulk

noe132

Jul 28, 2018

我之前写的一个异步队列的程序，
用的是 TokenBucket + 并发控制，
TokenBucket 就是基础的令牌桶，我用 ts 简单实现的。

https://gist.github.com/noe132/a7885918ab4fb083ea5ce0316b6f11a2

通过 TokenBucket 来限制任务的最大并发速度
通过 concurrecy 来限制异步队列的最大数目
这样并发数能控制下来，异步队列也不会一次推入过多爆掉

判断没有任务可做，并且 concurrency 为 0 时就做完了，就可以调用 tokenBucket.destroyed()销毁定时器。

还可以自己封装一下，提高抽象级别

noe132

Jul 28, 2018

我写了个滑动窗口测速，上面的并发限制基本很准，误差在±5%左右，和 token bucket 的一些参数有关。

RqPS6rhmP3Nyn3Tm

Jul 28, 2018 via iPhone

bulk
最差也能 promise 串一遍

nodejs 插入 ElasticSearch 的 api 操作直接异步执行了，插入数据太多 如何保持低速比较好

nodejs 插入 ElasticSearch 的 api 操作直接异步执行了，插入数据太多如何保持低速比较好