日志收集系统 Fluentd & td-agent 内存占用逐渐增长是什么原因呢?

2021-07-27 15:16:21 +08:00
 yuandj
buffer flush took longer time than slow_flush_log_threshold: plugin_id="object:3fc788a54800" elapsed_time=21.867602169 slow_flush_log_threshold=20.0
<source>
    type forward
    port 24224
    bind 0.0.0.0
</source>
###加了下面这个 match 后,才出现内存增长的情况,但所有服务器都加了,只有最近建的机器才会出现
<match php.try.master.data.*.*>
    type forward
    send_timeout 10s
    recover_wait 10s
    heartbeat_interval 1s
    phi_threshold 16
    hard_timeout 60s
    buffer_type memory
    buffer_chunk_limit 8m
    buffer_queue_limit 512
    flush_interval 1s
    <server>
        name data-log
        host 10.10.173.37
        port 24224
        weight 60
    </server>
</match>

<match php.**>
    type forward
    send_timeout 10s
    recover_wait 10s
    heartbeat_interval 1s
    phi_threshold 16
    hard_timeout 60s
    buffer_type memory
    buffer_chunk_limit 8m
    buffer_queue_limit 64
    flush_interval 2s
    <server>
        name php
        host 10.10.12.49
        port 24224
        weight 60
    </server>
</match>

新增了 match 之后, 最近新增的几台机器,内存偶尔会一直增长(一般出现在项目部署后),其他几台老机器没有任何问题。

是配置文件有问题吗?

1259 次点击
所在节点    程序员
1 条回复
yuandj
2021-08-06 18:39:50 +08:00
还是服务配置问题,调整和添加了以下参数解决了:
新增:
num_threads 2 # 处理线程数
修改:(可以根据实际情况修改)
buffer_chunk_limit 16m
buffer_queue_limit 512

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/792060

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX