chi1st 最近的时间轴更新
chi1st

chi1st

V2EX 第 191531 号会员,加入于 2016-09-13 09:49:56 +08:00
今日活跃度排名 15731
根据 chi1st 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
chi1st 最近回复了
1 天前
回复了 chi1st 创建的主题 Kafka 如何从 Kafka 消费的数据中取最大值存储?
@Jooooooooo 再次感谢,“监控是为了告警后续再人工解决”,我也是这么理解的,对于网络相关数据的监控确实也不需要非常实时,重要的是相对及时的告警,和使用趋势图。
如果要有完整的曲线图,那么还要保证消费数据的及时性,如果我现在消费的是半小时前的数据,那么肯定计算不到当前时间前几分钟的数据,那么告警和趋势图数据也都没了。。。
1 天前
回复了 chi1st 创建的主题 Kafka 如何从 Kafka 消费的数据中取最大值存储?
@Jooooooooo 感谢大佬回复,完全理解了我问题的痛点,我目前的思路和你说的基本一致, 目前我有存一份全量数据在 MongoDB 中,想着从这份数据中定时查询当前时间- n 分钟中的 max value ip, 因为数据量比较大,查询速度有待测试,可能放在 Redis 里查比较好。
最大值是为了推到监控中,所以时效性还是要求比较高的,这个 n 分钟具体数值目前也不太能确定。

在这之前我有考虑过将所有数据接收后都传到一个专门的处理程序里,对相同( ip ,time )的 value 进行取最大值的操作,这个程序对同一( ip ,time )的处理设置一个超时时间,超过两分钟就认为没有其他数据了,直接将最大值推送至监控。
如果这样做的话感觉写起来比较困难,需要对记录进行轮询(不知道有没有更好的处理手段),处理数据的时间有可能会很长反而更影响时效性
Django
38 天前
回复了 GCP 创建的主题 分享发现 手环界的天花板,值得拥有
我不承认它是个手环
43 天前
回复了 fiypig 创建的主题 随想 说真的,单身万岁
记得 OP 就是前段时间相亲后就结婚了吧,心态转变太真实了。。。
45 天前
回复了 greatHair 创建的主题 分享发现 深圳电信城中村迁移小区攻略
@legendORld 深圳电信么?咋聊的?
不是大富人家红米就行,老人就是打电话,最多最多微信视频
62 天前
回复了 vain 创建的主题 Apple better365.cn 这家开发商有什么问题吗?
@chi1st 刚开始应该只是个人兴趣做的软件,后来才有其他人加入,拆分了软件的功能
62 天前
回复了 vain 创建的主题 Apple better365.cn 这家开发商有什么问题吗?
@AlexShui bab 一开始是个年龄比较大的教师写的(应该不是教计算机的),当时不知道有没有退休,bab 里集成了很多功能,后来才拆分成现在的各个软件
@piglei 哈哈,没想到这贴里能看到两位熟悉的大佬,楼上也是我初学 Python 时的启蒙老师
关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1671 人在线   最高记录 5497   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 14ms · UTC 17:21 · PVG 01:21 · LAX 10:21 · JFK 13:21
Developed with CodeLauncher
♥ Do have faith in what you're doing.