kafka 流量大

[phttc]

最近遇到一个问题。我们的业务分为很多个小服务，消息中间件用的是 kafka 。也就是说，我们的 producer 和 consumer 数量比较大， topic 也很多。

现在重点来了， kafka 的回包比较大。。也就是说 如果有效数据是 10 字节，这个包有 10KB （夸张用法）。这样子一来，服务器的带宽占用非常高。跨机房的话，这笔流量费用是巨大的。

各位大大，，你们有遇到过么？有什么解决方案么？

[cloudzhou]

使用二进制协议？让数据包更小？

[h3nng]

可以考虑用压缩， Kafka 支持端到端压缩的，建议采用非 zip 压缩

[xiamx]

可以部署个 kafka 集群，根据 topic 进行 partitioning 尽量减少跨机房的流量

[limbo0]

不是专家, 公司用 snappy 压缩, lz 可以试试, 另外不知道怎么读的 有效数据占这么点? 可以适当增加一次读入的 size 吧

[jamesyf]

尽量多用 batching, 一次网络沟通多发几个信息，这样你的 network 效率比较高，硬盘性能也会好很多

基本思路：
1. producer type 用 async
2. batch.size 尽量调大
3. linger.ms 适当调大