一般统计类的需求,你们都是找数仓实现,还是自己 mysql 搞个计数表?

185 天前
 ShineHyper

RT ,类似那种全量数据统计的需求,比如有个每日打卡的需求,用户每天都可以点击打卡按钮打卡,保存一条打卡记录,最终要统计每个用户每周、每月、每年打卡天数在全站排名前百分之几; 假设用户量千万级。

类似这种全量统计的需求,一般你们是丢给数仓直接全量刷数据统计,还是自己搞个业务 mysql 表一点点统计?

1844 次点击
所在节点    数据库
5 条回复
dobelee
185 天前
我的经验,一般准确性、实时性要求高的,就走服务端;涉及复杂关联或聚合的就走数仓。
你这个例子,服务端记录简单的操作日志,用户查询走服务端。聚合统计走数仓,这种一般是运营数据需求,非业务需求,理论上你可以不用管。
sagaxu
185 天前
打卡这个例子并不好,每年打卡最多才 366 次,每个次数都记录下人数,再记录比每个次数多的人数总和,根本用不上全量统计,直接实时出结果。
CodeCaster
185 天前
这个需要结合业务一起来看,就比如你说的这个打卡的例子,显然是一个实时性并不高的业务场景,每天刷新一下结果就可以了,那么用 MySQL 存储每个人的打卡记录,每天定时任务离线计算结果,同时,对一定时间之前的打卡数据转移至冷数据表,保证热数据表数据量不会无限增长。
dode
184 天前
单独做一个幂等更新的用户每日打卡结果表,然后就可以直接算每日,每周,每年的排行了
spritecn
183 天前
数仓门槛那么高,这点小活给大数部门人家都懒得理你

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1115096

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX