fluent-bit 能否自动恢复收集

101 天前
 xhwdt

fluentd

之前使用 fluentd 收集日志,当 OUTPUT 目标出现故障时,chunk 达到设定的大小后,会停止收集。当 OUTPUT 目标恢复后,可以自动恢复收集。这样即使 OUTPUT 的后端是单节点,做些许运维操作不会造成日志的丢失,比较方便。

fluent-bit

想着 fluent-bit 资源消耗更低,想换成这个。在测试时,发现当 OUTPUT 目标出现故障时,chunk 达到设定的大小后,会停止收集。当 OUTPUT 目标恢复后,chunk 大小会减小,但是 INPUT 并没有恢复收集日志。难道要手动重启恢复?希望是我配置得不对,不然使用起来不方便啊。

配置

[SERVICE]
    flush         1
    log_level     info
    parsers_file  parsers.conf
    storage.path /data/fluent-bit-data
    storage.sync              normal
    storage.checksum          off
    storage.max_chunks_up     128
    storage.backlog.mem_limit 10M
    storage.total_limit_size    100M 
934 次点击
所在节点    程序员
2 条回复
xhwdt
101 天前
INPUT 配置
```
[INPUT]
storage.pause_on_chunks_overlimit on
```
liuhai233
100 天前
fluentd 性能太差

fluent-bit 吞吐量可以更高,当 OUTPUT 故障的时候,input 中已经读取的部分会存在 chunk ,应该是自动恢复的,等到 chunk 为空再看看行为

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1134928

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX