小程序埋点上报的数据,往 mysql 存是可以的吗

2022 年 7 月 29 日
 Ufo666

公司小程序,加了手动埋点(他们希望数据人性化一点,而不是每个地方都打,打出来的内容很死板),所以在一些关键事件打上上报事件的 api 接口,发到服务器,服务器存入 mysql 。 现在有 38w 行记录了,感觉后面会撑爆,有点担心,要不要换个 es ?(特小一个公司)

7821 次点击
所在节点    MySQL
57 条回复
NoString
2022 年 7 月 29 日
mysql 单表千万问题不大,正常分表就行。如果查询有聚合操作或者模糊匹配这些需求的话早点上 ES/Clickhouse 这种,结合你的场景选型就行
Samuelcc
2022 年 7 月 29 日
可以考虑 hbase
zhuweiyou
2022 年 7 月 29 日
小程序本来就有埋点功能,非要自己存.
xiaoyangsa
2022 年 7 月 29 日
...非要自己存,mysql 挺好。不够就加
learningman
2022 年 7 月 29 日
建议存成 csv 直接写文件
shiny
2022 年 7 月 29 日
SQL 不复杂的话存上亿条都没事
msaionyc
2022 年 7 月 29 日
这种放 mongo 也可以吧,毕竟这个日志你们应该不需要业务上的查询,字段也不需要设计
book1925
2022 年 7 月 29 日
想借楼问下,埋点设计有什么书或者项目可以学习参考下怎么设计怎么埋点吗?
5aSx5Lia
2022 年 7 月 29 日
感觉没有太大必要,如果没有对查询有特殊需求,需要聚合数据这样子,没有必要用 ES ,可以通过冷热数据方式进行存储( 38w 真的很少,相信 mysql ,千万级别都顶得住)
cp19890714
2022 年 7 月 29 日
mysql 上亿都没事,别太小看它了。只要不做太多查询就可以。
等以后要做数据分析,再考虑把数据复制到其他数据库中。
jasonkayzk
2022 年 7 月 29 日
埋点上报分库分表就行,周表、月表
em70
2022 年 7 月 29 日
mysql 存过几千万的埋点,一点问题都没有,定期归档就是了
Ayanokouji
2022 年 7 月 29 日
比如按年 /按月建一堆表,写的时候加个路由,实在不行,就每年 /每月发一次版,手动指定表
iseki
2022 年 7 月 29 日
换 PostgreSQL (暴论
讲真几十几百万行一般情况下都不会有什么问题,只要这一行太大,索引建好
T0m008
2022 年 7 月 29 日
用什么取决于你需要怎么使用这些数据
Felldeadbird
2022 年 7 月 30 日
数据不用的话,就是死数据。我公司有上千万的几年数据,但是基本不用。优化都不需要。当时提需求就提得响亮。结果用不响亮。 等数据量上千万,使用量频率在考虑优化。现在就去部署 ES ,我认为纯粹给自己增加工作量。
Features
2022 年 7 月 30 日
单独建个库,日志丢里面就行,分表什么的都不用考虑

单独建库主要是为了备份主库方便

其实 100 亿行对于 MySQL 来说也不算什么

MySQL 和其他数据库自身很强大,他们在发展的历程几十年中遇到的问题比我们任何一个人一辈子遇到的问题都要多,他们也有很优雅的方式去解决这些问题

这些问题包含了超大数据
最多行数:There is a limit of (2^32)^2 (1.844E+19) rows in a MyISAM table.
最大控件:256TB
单库最大表数:20 亿
Features
2022 年 7 月 30 日
@Features 尾部数据,是单表的指标
控件 -> 单表最大空间
lithiumii
2022 年 7 月 30 日
前司 Matomo 埋点,直接一股脑写 mysql 了,没啥大问题
westoy
2022 年 7 月 30 日
es 高可用的运营成本和硬件成本可比 mysql 高的多的多

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/869507

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX