安装 Kafka 的机器上一定要有 Zookeeper 吗?

2017-04-17 11:41:02 +08:00
 anonymoustian

可不可以有一个 Kafka 的集群

然后一个 Zookeeper 的集群?

然后二者网络互通 交换数据?

另外如果 一台机器上有数据,一台机器需要读取数据,它们分别向 Kafka 集群生产和消费数据,

是不是只要网络互通就行了,,

消费和生产的机器上 可以不用装 Kafka

5311 次点击
所在节点    Kafka
8 条回复
JKeita
2017-04-17 11:53:22 +08:00
最近学了一点点 kafka 的菜鸟,可以分开配置,虽然自己没试过。。。
spider82
2017-04-17 11:59:48 +08:00
显然可以解耦。
as463419014
2017-04-17 12:00:48 +08:00
1.kafka 和 zookeeper 可以不再同一台机器
2.读取和写入数据的机器可以和 kafka 不再同一台机器,也不用在生产者和消费者安装 kafka,但是需要依赖 kafka 的 client 库
3.搭建环境最好对机器配置 host,网络环境最好是内网环境,并封锁对外网的端口
xinyewdz
2017-04-17 13:13:45 +08:00
kafka 是一个中间件,是一个服务。任何机器都可以向它生产数据和消费数据。
zookeeper 是保存 kafka 的 topic 信息和其他配置信息的。也是一个中间件。
生产环境, zookeeper 肯定是需要集群的。
stackboom
2017-04-17 14:03:54 +08:00
Kafka 和 ZooKeeper 可以分离。
iyaozhen
2017-04-17 14:18:42 +08:00
最佳实践上也是这样。

都是集群,不然没有分布式的优势了
anonymoustian
2017-04-17 14:40:19 +08:00
@xinyewdz 是的 但是 kafka 和 zookeeper 还有消费者比如 streaming 这些一般是在一起还是不在一起呢?


解耦怎么样
ayiis
2017-04-17 16:05:21 +08:00
搭过两种
3+3 ,两个独立集群
1+1 ,放一台机器上
生产者和消费者只要能访问 kafka 机器就行

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/355352

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX