订单数据实时汇总技术选型

[ppppppp123]

公司正在开发订单数据看板，要求对数个月或者单天的订单数据按照单店面和多店面维度进行汇总展示，另外还要根据上面时间和店面两个维度汇总展示这些订单里面最受欢迎的商品信息（每个订单对应一个商品），近乎实时汇总，求大神推荐此类场景的实现技术，有代码或者教程的更佳。

[BBCCBB]

flink?

[hpu423]

flink+clickhouse

[Jface]

对性能跟实时性有要求就 flink
没有要求用 spark 做实时也行

[corcre]

前端选型吗? power bi?

[ppppppp123]

@corcre 前后端都做的，前端是一个 vue admin board 类似的。后端需要自己实现。

[ppppppp123]

@BBCCBB @hpu423 @Jface 谢谢三位亲，如果有开源的例子就好了。

[1996wang]

flink + doris + 帆软 bi 看板.
简单可拓展性强.后面做下数据分层就是个数仓了

[FYFX]

我觉得你应该先说一下你们的开发资源，还有数据的量级，毕竟要上大数据的话维护的成本还是挺高的

[ppppppp123]

@FYFX 后面我再回复你，你的 comment 非常有价值。
@1996wang 非常谢谢！

[Morii]

flink + Click house 的 累计计算引擎

话说订单量多大啊

[ppppppp123]

@Morii flink 和 ck 各自的作用是什么？公司所有的订单数据都是存储在 mysql 里的，我在担心实时性的问题。

[sss15]

你不说数据量，没办法技术选型啊，如果一天就几百单，直接 mysql 里 sum 就行了何必上组件。

淘宝的双 11 的实时订单统计，各排行榜都是用 flink 做的，所以楼上那么多推荐 flink 的。

flink 可以去 b 站看视频，硅上谷的视频做的不错，版本也新
https://www.bilibili.com/video/BV133411s7Sa/?spm_id_from=333.337.search-card.all.click

[OpenSea]

clickhouse 做实时的并发会成瓶颈吧

[SilenceLL]

flink cdc + doris

[lry]

手动打点，数据写入到 InfluxDB / Prometheus, 再配置 Grafana 面板。

[xieren58]

看数据量, 数据量少的话, 简单搞个定时任务就行啦.

[datoujiejie221]

canal 监控 mysql 的订单数据扔到 kafka
消费 kafka 的数据做实时计算，每日的结果落库，数据量大的话考虑用 flink

[ppppppp123]

@Morii @sss15 @xieren58 @datoujiejie221 @SilenceLL
每天 10w 单数据

[bjfane]

确实，是场景不是很清楚，不过既然 mysql 能放的下 说明应该不会巨大， 没有人说 mysql 从库 sql 一把梭么？
一把梭不了，就从库定时执行缓存一下。

上 flink 是不是有点过分了。。。

[liprais]

十万单 mysql 搞个从库随便玩了