恳请前辈指导,大数据 OLAP 实时数据分析方案,可行性分析

2019-11-04 15:45:27 +08:00
 code2019

基于终端埋点的业务场景,目前想实现一个基于以下格式的埋点协议,基于这样结构的数据进行数据分析。

1.1||iOS 12.4||meeting212lk@xx.com||1278797398423sdfeef||1920*1080||CN||1001||{"id":202,"cpu":23,"memory":12,"type":1,"des":"login event"}
1.1||iOS 12.4||meeting212lk@xx.com||1278797398423sdfeef||1920*1080||CN||1002||{"type":1,"time":100,"rate":0.12,"des":"login crash"}

以上格式说明:

例如统计

现状:目前使用 grafana 进行数据指标呈现,InfluxDB 进行原始数据存储,可以进行简单的数据实时分析。但是 InfluxDB 不支持 JSON 字段的索引。一个简单的办法就是对每一个 eventid 进行分表,但是带来的问题就是 InfluxDB 不支持 join 查询,不能对多个 eventid 进行查询。

想请教一下,在这种场景得情况下,想把 args 字段作为通用字段,是否可以实现实时查询和统计的功能。

1086 次点击
所在节点    程序员
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/616127

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX