数千个设备的实时数据，每 30 分钟内存储最大值即可，如何设计方案？

[tuine]

比如数千个温度传感器，每 5s 采集一次数据，后期数据使用只会使用每 30 分钟内最大值，由于大数据及实时数据处理经验较少，目前考虑是数据存储到 kafka 中，然后消费端使用 Redis 存储当前 30 分内最大值，并持续对比更新最大值，且每过一个 30 分钟循环则刷新一次 redis 值到时序数据库，求教

[tuine]

@Rocketer #11 每台设备每 5s 都产生一条，算作临时数据，这样 30 分钟存一次数据量就下来了

[tuine]

@vance123 #8 😂要是几千个我就不问了。。。可能没描述太清楚，Append 重新说明了一下~

[yolee599]

在设备端统计好 30 分钟最大值再上传服务器，如果要调整间隔可以设计一条设备配置指令来配置

[glfpes]

Redis zset

[zrt]

看起来 c++写个单调队列就可以解决

[SmiteChow]

就这点数据不用思考任何算法

[YouKnowIt]

数千个设备数据直接放内存，我估计你的数据 1gb 都用不完，每 30 分钟 load 到 db 中就行，注意内存读写锁

[frozenshadow]

想玩一下的话，可以看看 flink 。可以按照 30min 时间窗计算

[cnuser002]

你的设备上报是 5 秒一个，但是你实际是每个 30 分钟存一个值到数据库。

那你的主要工作，其实就是写一个比较程序，将每台设备每次上报的数据，跟 30 分钟段内最高的温度，做一个比较就行了。

到点把最高值往数据库里写就完事了。

那我感觉，你也没必要搞 Redis ，用你熟悉的语言把这个变换的流程，写一下就 Ok 了。

[tuine]

@frozenshadow #28 准备学习一下 玩个试试

[tuine]

@cnuser002 #29 是这个道理

[jellyspot]

你这个我理解就是个监控需求么，Prometheus 能实现采集监控，然后也可以用 promql 查询出 30 分钟最大的值，然后把这个值写到数据库之类的就行了