Python 消费 kafka 时无限挂起,如何定位原因

2021-06-18 20:57:27 +08:00
 css3

直接通过 kafka 命令行是可以消费的,但通过 python 消费时,一直消费不到,进程也不超时


import time
from kafka import KafkaConsumer

topic1 = 'additional_order'
host = '192.168.14.55:9092'


consume = KafkaConsumer(topic, group_id="group1", 
                              bootstrap_servers=host, auto_offset_reset='latest',
                              security_protocol='SASL_PLAINTEXT',
                              sasl_mechanism='PLAIN',
                              sasl_plain_username='admin',
                              sasl_plain_password='$%foper!@#$',
                              api_version=(0, 10)
                              )


while True:
    count += 1
    if time.time() - start_time > 1 * 60:
        print('超时,退出')
        break
    msg = consume.poll(1000, 1)  # 看上去,进程是一直等候在这里
    print(count)


766 次点击
所在节点    Kafka
2 条回复
tcpdump
2021-06-18 21:03:12 +08:00
换消费组啊,你都消费了,偏移肯定是最后的
或者 auto_offset_reset 设置为最早吧
跟 Python 没关系
css3
2021-06-18 21:12:06 +08:00
@tcpdump 换了也不行,试过了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/784348

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX