Redis 集群模式可以使用 redis-cli --pipe 导入数据吗?

2018-03-11 22:00:46 +08:00
 anonymoustian

之前 Redis 单机节点,我将要插入的 redis 的数据编辑为命令,写入 txt 文本文件里。然后调用

cat data.txt | redis-cli --pipe

批量向 redis 中插入数据。

但是现在我换成集群方案了(redis 4.0),六台服务器,三主三从,我这里还是有很多数据要等待批量写入。请问这种情况下批量写入应该有什么方案呢?

5697 次点击
所在节点    Redis
6 条回复
anonymoustian
2018-03-11 22:53:10 +08:00
都收藏,没有人回答么。。。
yuqaf
2018-03-11 23:04:15 +08:00
从原理上来说就是不能。。。每次插入的数据都有可能在不同的机器上,如果放到一个连接里头。。。
Immortal
2018-03-12 01:30:13 +08:00
不知道把批量处理的数据分成 /n 段,从三主同时写会不会快一些,一下子也没想到特别好的方案
ETiV
2018-03-12 06:07:48 +08:00
github.com/eleme/corvus

前面搭个这个,往它监听的端口里面导
etc
2018-03-12 08:35:07 +08:00
唯品会有个开源的 redis 集群导数据工具,你去 github 找下 vipshop 下面,我用过还不错
leriou
2018-08-17 15:32:32 +08:00
我们之前遇到过, 写了个工具, 自己通过 crc 计算落到的数据槽, 将同一个机器上的键使用 pipline

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/437060

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX