想实时采集约 2000 台服务器的系统运行时快照，当中间件或应用出问题的时候能翻采集记录排查，大家有啥思路吗？

[zhoudaiyu]

抓取的信息有 CPU 、内存、IO 、进（线）程、网络连接情况，还可能有一些中间件的特有的指标，大概 1s 抓取一次。我的思路是部署 agent 到每台机器做采集工作（目前试过用 go 调用 shell 去抓取，然后再把 shell 的 stdout 做解析和整合），将整个后结果推到 Kafka，再用 kafka-xx-connetor 或者类似的东西把 kafka 的数据同步到 ES 、mongo 或者 mysql 里。请问大家觉得我这个思路怎么样？还有就是有啥更好想法吗？包括抓取指标的维度、抓取方式、数据转移链路，存储后端等等方面。

[Aumujun]

你需要的应该是“ZABBIX”这种东西

[cslive]

日志都单独挂载在一个一盘里，然后将日志扔到 hadoop 里吧

[Qetesh]

同意楼上，感觉楼主要的是监控吧
主机监控和 apm 监控

[zhoudaiyu]

@Aumujun
@Qetesh Zabbix 我了解，我们用的 Falcon-Agent，这个 falcon 都是以分钟为单位上报数据的，有时候 cpu 尖峰就是几秒的事情，感觉 falcon 时间尺度不够使

[zhoudaiyu]

@cslive 也是要有这个 agent 吧

[eason1874]

我搞新东西，自己没经验就会找大厂产品研究下。

看看腾讯云、阿里云那些 agent 脚本，看看网站的控制台面板，看看云监控自定义上报功能，就能猜到他们怎么设计的吧。

[ElmerZhang]

本机打日志然后 fluentd 之类的收集一下就好了。
通用指标可以试试 dstat

[zhoudaiyu]

@eason1874 好主意老哥，我这就去看看
@ElmerZhang dstat 这个很不错啊，多谢多谢

[defunct9]

prometheus

[DoctorCat]

prometheus

[jlwrp]

ELk

[wzwwzw]

prometheus

[pc10201]

有一个软件叫 atop，不过推荐一分钟采集一次

[xuzhzzz]

别乱想方案，找开源的行吗

[CallMeReznov]

zabbix 自己调整下取值的间隔,你想 1 秒取一次都可以!

[Lemeng]

看看也想了解了解

[AnyISalIn]

Prometheus, Zabbix 之类的方案都行，就是抓取周期为 1s 频率太高，这里的难点在于你的数据要存储多久。

Zabbix 的问题在于后端 数据通过 MySQL 存储，数据库是一个很大的瓶颈，横向扩展只能通过类似 Sharding 的方案来做。
Prometheus 支持的插件比较多，大部分中间件都能覆盖，而且 TSDB 的性能很强劲，性能应该不是问题，但集群方案得借助第三方方案类似 Thanos, Cortex 来解决，并且对内存的要求很高 (默认 2 小时内的数据都放在内存里，如果 1s 一次采集，数据量太大了)，如果要做的话，你这种需求可能要用 hasmod + thanos 才能搞定。

ELK (MetricBit) 的方案也是可以的，扩展性很强，但是你这种时间粒度和规模的要求，索引会很大，并且 Elasticsearch 本身的维护成本也很高。

主要的难点不是 2000 台机器，同样是 2000 台机器，15/30 秒抓取一次 1s 的抓取频率，会让数据规模翻几十倍。

[akira]

1s 一次，这个有点夸张了啊。。
1 分钟一次外面现成的方案挺多的

[victor97]

本地一秒钟抓一次，传可以一分钟传一次。另外也可以只传一分钟内的最大值，最小值和平均值。

[sampeng]

没有任何监控有需要 1 秒监控一次的……头一次做监控的时候总是这么想，我需要 2 秒监控一次。本质上监控是统计问题，没有真正的所谓这个时间点性能怎么样。都是通过多个采样点计算出大致的。只要采样点足够多就是可信的。1 秒和一分钟的区别仅仅是精读差别，甚至可以说汇出图出来没有任何指导价值…因为抖动可能大得吓人。而抖动又没有价值

比如说流量，一秒飙到 100Mb 很正常，持续一分钟也很正常，只有持续 10 分钟可能不正常。所以一秒间隔采样点没价值。浪费性能

再比如抖动最多的内存，java 虚拟机内部先把内存分走了，下一秒就回收掉了。

监控只有看持续才会有有问题。瞬间点没任何指导价值