Python 操作 elasticsearch 如何实现 bulk 写入时，如何实现超时就写入？

[itskingname]

在使用 Python 操作 Elasticsearch 的第三方库 elasticsearch-py 时，我使用 helpers.bluk 来批量更新数据，代码如下：

data = DataGenerator()
helpers.bulk(es, data, index='xxx')

其中，DataGenerator()返回一个生成器，对它进行迭代，每次返回一条数据。

在默认情况下，bulk 每凑够 500 条数据就更新一次。但有时候，数据获取得比较慢，凑够 500 条需要几十分钟。所以我希望实现：

1. 在 1 分钟内，只要凑够 500 条数据就写入到 ES
2. 即使没有凑够 500 条，每分钟也写入 ES

大家有什么好的设计方案吗？

[laimailai]

参考 es java 的 bulkprocessor

[itskingname]

@laimailai 感谢