[求助]运营运维平台技术选型,求前辈指点一二

2019-08-12 08:11:18 +08:00
 code2019

最近项目想要搭建一个数据接入平台,但是苦于刚刚接触运营运维,对很多技术栈不太了解,想请教一下各位。

目标

实现一个数据平台,对终端的操作日志数据上报(例如,客户端点击事件日志,操作请求成功 /失败日志等等),之前一直使用 InfluxDB 进行数据的存储,但是用户量上来,内存就爆了。 想要重构这个服务,搭建一个数据接入平台进行统一的数据采集存储、自定义数据格式、监控等等功能。同事配合 Grafana 进行数据显示。这里的可能更多是面向业务运维的东西

目前了解到的一些技术栈

  1. prometheus
  2. 基于 Flume+Kafka+Spark-Streaming 的实时流式处理
  3. Flink ???(还没有了解过)
  4. 第三方接入平台:使用阿里云 / 华为云的数据接入服务?
  5. ...
1622 次点击
所在节点    程序员
3 条回复
opengps
2019-08-12 08:18:42 +08:00
采集只进消息队列,避免对原业务造成影响
bantao
2019-08-12 09:40:06 +08:00
ELK
kennyliu
2019-08-12 17:27:38 +08:00
InfluxDB 时序数据库了解一下 纳秒级别数据记录

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/591042

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX