技术求助帖，关于 redis 大 value 存储的问题

[hehe12980]

这是我在 V2EX 的第一个帖子

最近遇到一个业务场景，外部接口每隔 5 秒种会给我一批温度参数, 分别为每个机器上的不同温度,需要在前台动态曲线图实时显示，前台 每次 只能 看某 1 天和某一个机器的 温度参数, 历史数据曲线图 可以查询

技术上我做了分表,每一天的数据建一张表，大概 100 台左右的机器数量，每一天的数据 172 万, 单台机器的温度数据每天大概为 1.7 万

前置条件： 任何一台机器温度数据一旦生成是不会变的，我的思路能不能放缓存中，这样就不用去 100 多万条数据，拿机器编号去匹配了

但是我尝试把 1.7 万条数据 放入 redis 中，这个时候 redis 直接报了个命令超时，应该是 value 过大，导致性能下降，IO 瓶颈太大

所以 这种场景的需求究竟要怎么处理呢？ 感觉 我这个需求和股票的实时曲线很像 好难啊 呜呜呜

[akira]

influxdb + prometheus

[no1xsyzy]

你这是把 redis 当 kv store 了？

[no1xsyzy]

我跟你说，你只是作一个复杂 query 的缓存的话，取巧的，直接拿文件做

[noparking188]

我咋感觉分表分得更难做了，也许应该换个分表方式

[noqwerty]

这两天刚好在玩类似的东西，influxdb+grafana 完美契合

[Yuansir]

这应该是时序数据干的活

[jhhhh]

redis 不合适，mysql 不想用。
那可以尝试下文件方式。按你后续要搜索的条件去存储响应格式内容的文件。

[xuanbg]

这个需求不适合用 redis，内存会炸。influxdb 还是比较合适的。

问题是你画曲线直接用 5 秒的原始数据？这 x 轴 17280 个坐标点？什么显示器能把 1 天的数据给显示全了，18K 么？？？

[hehe12980]

@xuanbg 那个可以曲线图可以伸缩的

[hehe12980]

@xuanbg 像股票的曲线图是秒级的 一天差不多也 1 万多个点 它们的曲线图 不就显示全了，只要曲线很平滑就能显示的很舒服

[fengpan567]

K 线图都没你这数据量大，时间周期短的也是 1 分钟

[Mithril]

直接上时序数据库。懒得折腾 influxdb 的花，直接 prometheus 。
连代码都不用写。。

[dynastysea]

@hehe12980 因为从你的场景出发，这个是完全没必要的，你说的这个 sql 完全就可以满足，没必要提早过度优化。

[stevenkang]

5 秒钟上报一次，按天的维度下，并不需要 5 秒钟刷新一次前端展示。

按天算，24 小时 x 60 分钟 = 1440，一分钟刷新一次足以满足需求。多了也看不出来有啥变化。

按小时算，60 分钟 x 60 秒 = 3600，算一半 1800，两秒钟刷新一次也满足需求，多了同样看不出来啥变化。

总之，不要在一个时间范围很大的维度上，展示的数据粒度又很小，那样无意义（参考各种监控系统的设计）。

[xiaofan2]

上面说的时序数据库完全可以 目前我们公司运维用的是 clicckhouse，这个感觉应该也可以，但我还没深入了解过，你可以了解下

[hehe12980]

@fengpan567 K 线图是分钟级别的么 那比如一分钟 60 个价格的点 K 线图的价格 怎么变成一个点 取平均值？

[Garland]

唔，这个是时序数据库的标准场景了。

[Jrue0011]

哈哈哈所以这算是一个经典 XY 问题吗，本身要解决的不是 redis 存大 value，甚至都不是大量数据的查询优化，而是本身这个数据展示的需求设计

[muskill]

influxdb 合适

[hehe12980]

@Jrue0011 咋展示比较合理呢 ==