[实时数据] 现在实时数据处理，除了 Flink 以外，其他有什么比较好用的计算引擎或者架构

[brant2ai]

因为公司业务的原因，要处理比较多的物联数据。业主要求物联数据要能实时展示，并进行一定的复杂计算。 不想上 Flink 的原因： 1.Flink 太重了，一次就要上好多个节点，且业务是要交付到业主现场的，不可能派人盯着 Flink 的维护 2.Flink 有些场景下依旧不是特别好用，所以放弃 想问问有没有大牛介绍下比较好用的实时数据架构或者引擎的

[zhenjiachen]

直接把所有的 flink 依赖打包到 jar 里面，然后 java -jar 运行？

[bronyakaka]

感觉基本都是与 kafka 配套的

[bronyakaka]

Redis Streams 比较轻量

[chenquan]

我自己在写： https://github.com/arkflow-rs/arkflow ，毕竟轻量

国外厂商开源的： https://www.arroyo.dev/

[chenquan]

毕竟轻量 -> 比较轻量

[yb2313]

用如果你的“复杂计算”大多是时间窗口内的聚合、分组、排序，ClickHouse 是非常合适的，并且部署也比 Flink 轻。

[lianhuayu420]

rust 里有几个 像 https://github.com/ArroyoSystems/arroyo ,https://risingwave.com/ ， 还有很多基于类 sql 的 ，https://siddhi.io/

[lianhuayu420]

刚找了下 还有这个 https://www.fluvio.io/

[brant2ai]

@yb2313 我的场景确实是需要窗口内聚合，但是窗口是不固定的。比如说开始时间是由物联内某个测点发出 1 ，结束也是这个测点发出 0 ，而实际指标是另外的测点来计算。这样就要求能动态获取，且能实时实现的

[lezw]

Apache NiFi

[Meld]

数据量要说下

[icchux]

看你们的复杂计算多复杂了，如果只是实时但计算逻辑简单那可以接入到 ck 或者 doris 里面用 SQL 直出，但要涉及到状态计算，窗口很大的，一般都是上 flink

[cosen]

可以考虑买云服务，不用自己维护集群

[brant2ai]

日两千万这样

[brant2ai]

@icchux 我现在的这套已经用了 doris 了。简单来说，不是单表或者维表可以出的计算

[brant2ai]

@cosen 我们还是要以产品的形式去完成的，场景都是有服务器的，只是能提供给数据这边的服务器不多

[vvtf]

我们日~1 亿的数据,
67 种规则,状态大小 500m,
1 个 taskmanager, 2c4g,稳定运行.

[yuluoxinsheng]

物联网可以考虑边缘计算。看看我这篇.
https://juejin.cn/post/7508998028742737958

[runningman]

flink 很重吗，还没研究很深