怎么高效地把几十万 mysql 数据一次性存入 redis？

[tinzing]

寻求最佳解决办法，

[watzds]

Redis pipeline 批量写很快

[worldOnlyYou]

可以用 pipeline 的方式，能省不少时间

[594duck]

redis 到 mysql 的预热受 IO 限制没办法太快的。

当年新浪微博预热集群 redis 15 分钟呢

[594duck]

@huntcool001 几十万数据，你先考虑一下他有多大。

你这个回答还是没考虑到 IO

[winglight2016]

这点数据量，全部放 hashmap 里也没啥问题。可以自己封装一个缓存服务，hashmap 作一级缓存，redis 作二级，用队列慢慢往 redis 搬，搬完了要不要清理一级缓存看你们自己的需求。

[tinzing]

@DavidNineRoc https://s1.ax1x.com/2020/08/01/a8ADQf.png 这是代码

[tinzing]

@watzds 了解

[tinzing]

@siys 我也怀疑是不是网络原因 太慢了 本地很快的

[tinzing]

@winglight2016 我试试

[luozic]

benchmark 一下，实际的系统环境和单个组件的性能指标没啥非常大的联系，你的内部网络，cpu 配置 等等都有可能导致性能不符合预期。

[sunny1688]

大小写不统一，看着真难受！！！

[gitgabige]

分布式大数据方案考虑一下么：具体使用 flinkx
https://github.com/DTStack/flinkx/blob/1.8_release/docs/offline/reader/mysqlreader.md 多通道读取 mysql
https://github.com/DTStack/flinkx/blob/1.8_release/docs/offline/writer/rediswriter.md 写入 redis
开源工具，安装好之后，写下配置文件就可行

[baoshuai33]

@sss495088732 新闻早说 6 了，6 都出了好几个稳定版了

[tinzing]

@huntcool001 这样系统 会不会撑不住--

[tinzing]

@gitgabige 试一下

[DavidNineRoc]

https://www.runoob.com/redis/redis-pipelining.html

[dreamage]

运维，不忙时帮我导一下

[ifsclimbing]

说业务，需求

[wakzz]

看一下 redis 的 aof 设置，appendfsync 配置的哪个参数。如果 appendfsync 设置的 always，那么就是每次写操作都写一次 aof 日志，对于楼主这种高频写操作，IO 耗时会很大。

[wangyzj]

全读出来
然后循环塞进去