liuidetmks
V2EX  ›  问与答

统计类需求把代码弄的乱,How do yo do ?

  •  
  •   liuidetmks · Dec 31, 2021 · 3600 views
    This topic created in 1783 days ago, the information mentioned may be changed or developed.

    你们是怎么处理的?

    15 replies  •  2022-01-01 03:29:31 +08:00
    LowBi
    LowBi
    Dec 31, 2021 via Android
    1
    同求解,目前就是这一块 SQL 那一块 SQL ,把结果返回前端
    Solix
    Solix
    Dec 31, 2021
    3
    maltoze
    maltoze
    Dec 31, 2021
    4
    ikaros
    ikaros
    Dec 31, 2021❤️1
    5
    I'm fine, thank you and you?
    liuidetmks
    liuidetmks
    OP
    Dec 31, 2021
    6
    @kappa why so serious ~
    itechify
    itechify
    Dec 31, 2021 via Android
    7
    数仓出,没有条件就新开项目专门做统计,跑 job 等
    ETiV
    ETiV
    Dec 31, 2021 via iPhone
    8
    把分析类的工作迁移进 BI 工具,比如 metabase

    然后使用 terraform 管理各种 sql 查询和面板,比如 https://registry.terraform.io/providers/bilenkis/metabase/latest/docs
    CEBBCAT
    CEBBCAT
    Dec 31, 2021
    9
    没看懂啊,统计类需求写起来很恶心没错,但怎么会把代码弄乱呢?
    zhazi
    zhazi
    Dec 31, 2021
    10
    报表业务一般都是无视建模。透视数据。所以通过封装 view object 直接写 sql 展示即可
    如果在报表业务中涉及汇总 聚合 各种函数建议做数仓
    dji38838c
    dji38838c
    Dec 31, 2021
    11
    How do yo do
    Senorsen
    Senorsen
    Dec 31, 2021
    12
    数据量大,就上 Flink Spark 等跑 BI 的 SQL
    数据量小,就用 metabase 接上 MySQL 从库建报表
    sujin190
    sujin190
    Dec 31, 2021❤️1
    13
    中小型项目这个问题真挺难解的,实际项目中,统计需求基本难有规划,基本需要啥你就给我出啥,这个主要还是一般产品似乎都搞不定这个,运营知道要啥数据但是基本也搞不定组织规划的问题,大多数公司基本又觉得专门的数据开发岗多余,确实不好解决,此外不重视自然研发这边难有统一规划,比如写个脚本不管出错重入啥的,所以啊,想要做的好,就得重视按正常产品流程来,独立的数据统计项目,不仅看眼下需求,要做良好得分层设计,完善的出错恢复监控流程

    其实统计和正常产品两个逻辑是很不一样的,不应该在同一套数据表上实现两个逻辑,当然很多人觉得平时需求开发都完不成,哪有功夫仔细规划,其实如果仔细想想看的话就发现这个并不会花很多功夫,数据只要做好了数据拆分重组的逻辑,剩下基本都是数据同步的过程了,逻辑简单很多,平时多注意点,慢慢 bi 的逻辑也就建立起来了,否则就只会越来越乱

    之前我们的项目也这样,简直坑死,搞到后面数据需求多了,感觉一大半时间都是在导数据,太折腾人了,但是慢慢注意了一些,其实好很多,之前做过一个项目,用 json 来定义数据同步计算过程,其本身也限制了一次只能同步一层的数据,既是限制也是规范,算是参考吧

    https://github.com/snower/syncany
    yjs778
    yjs778
    Jan 1, 2022
    14
    I’m fine. thank you, and you?
    Samuelcc
    Samuelcc
    Jan 1, 2022 via Android
    15
    可以尝试直接打到日志里然后进行异步日志解析收集统计
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3744 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 47ms · UTC 05:38 · PVG 13:38 · LAX 21:38 · JFK 00:38
    ♥ Do have faith in what you're doing.