统计类需求把代码弄的乱,How do yo do ?

2021-12-31 16:56:38 +08:00
 liuidetmks

你们是怎么处理的?

2128 次点击
所在节点    问与答
15 条回复
LowBi
2021-12-31 17:03:12 +08:00
同求解,目前就是这一块 SQL 那一块 SQL ,把结果返回前端
kappa
2021-12-31 17:19:13 +08:00
gaobh
2021-12-31 17:30:08 +08:00
maltoze
2021-12-31 17:31:57 +08:00
ikaros
2021-12-31 17:47:01 +08:00
I'm fine, thank you and you?
liuidetmks
2021-12-31 18:23:30 +08:00
@kappa why so serious ~
oneisall8955
2021-12-31 19:33:23 +08:00
数仓出,没有条件就新开项目专门做统计,跑 job 等
ETiV
2021-12-31 19:59:03 +08:00
把分析类的工作迁移进 BI 工具,比如 metabase

然后使用 terraform 管理各种 sql 查询和面板,比如 https://registry.terraform.io/providers/bilenkis/metabase/latest/docs
CEBBCAT
2021-12-31 20:03:15 +08:00
没看懂啊,统计类需求写起来很恶心没错,但怎么会把代码弄乱呢?
zhazi
2021-12-31 21:33:09 +08:00
报表业务一般都是无视建模。透视数据。所以通过封装 view object 直接写 sql 展示即可
如果在报表业务中涉及汇总 聚合 各种函数建议做数仓
dji38838c
2021-12-31 21:40:00 +08:00
How do yo do
Senorsen
2021-12-31 23:36:33 +08:00
数据量大,就上 Flink Spark 等跑 BI 的 SQL
数据量小,就用 metabase 接上 MySQL 从库建报表
sujin190
2021-12-31 23:58:40 +08:00
中小型项目这个问题真挺难解的,实际项目中,统计需求基本难有规划,基本需要啥你就给我出啥,这个主要还是一般产品似乎都搞不定这个,运营知道要啥数据但是基本也搞不定组织规划的问题,大多数公司基本又觉得专门的数据开发岗多余,确实不好解决,此外不重视自然研发这边难有统一规划,比如写个脚本不管出错重入啥的,所以啊,想要做的好,就得重视按正常产品流程来,独立的数据统计项目,不仅看眼下需求,要做良好得分层设计,完善的出错恢复监控流程

其实统计和正常产品两个逻辑是很不一样的,不应该在同一套数据表上实现两个逻辑,当然很多人觉得平时需求开发都完不成,哪有功夫仔细规划,其实如果仔细想想看的话就发现这个并不会花很多功夫,数据只要做好了数据拆分重组的逻辑,剩下基本都是数据同步的过程了,逻辑简单很多,平时多注意点,慢慢 bi 的逻辑也就建立起来了,否则就只会越来越乱

之前我们的项目也这样,简直坑死,搞到后面数据需求多了,感觉一大半时间都是在导数据,太折腾人了,但是慢慢注意了一些,其实好很多,之前做过一个项目,用 json 来定义数据同步计算过程,其本身也限制了一次只能同步一层的数据,既是限制也是规范,算是参考吧

https://github.com/snower/syncany
yjs778
2022-01-01 00:39:17 +08:00
I’m fine. thank you, and you?
Samuelcc
2022-01-01 03:29:31 +08:00
可以尝试直接打到日志里然后进行异步日志解析收集统计

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/825548

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX