web-dev-qa-db-ja.com

Kafka高レベルの消費者error_code = 15

高レベルのコンシューマーを使用して(完全に新しいコンシューマーグループを使用して)Kafkaから消費しようとすると、コンシューマーは実行を開始しません。ログレベルをデバッグに切り替えると、次のように表示されます。 2行が何度も繰り返されます:

DEBUG [AbstractCoordinator] 09:43:51.192: Sending coordinator request for group CompletelyNewConsumerGroupThatIneverUsedBefore to broker 172.30.3.61:30000 (id: 1043 rack: null)
DEBUG [AbstractCoordinator] 09:43:51.306: Received group coordinator response ClientResponse(receivedTimeMs=1487666631306, disconnected=false, request=ClientRequest(expectResponse=true, callback=org.Apache.kafka.clients.consumer.internals.ConsumerNetworkClient$RequestFutureCompletionHandler@58f68932, request=RequestSend(header={api_key=10,api_version=0,correlation_id=197,client_id=consumer-1}, body={group_id=CompletelyNewConsumerGroupThatIneverUsedBefore}), createdTimeMs=1487666631192, sendTimeMs=1487666631192), responseBody={error_code=15,coordinator={node_id=-1,Host=,port=-1}})

クラスターの6つのノードすべてがデータを適切に消費します。古い低レベルの消費者でさえ機能します。また、Zookeeperには、そこにあるはずの6つのノードしかなく、それらのログファイルは問題ないように見えます。

グーグルで調べたところ、error_code = 15は、グループコーディネーターが利用できないことを意味していることがわかりました。それは消費者グループのコーディネーターを意味すると思います。これはコールバックの問題ですか?高レベルの消費者が機能しないのはなぜですか?

6
xgb84j

結局のところ、__consumer_offsetsトピックのすべてのパーティションは、デッドノード(オフにしたノードで、二度と戻ってこないノード)にありました。クラスターをシャットダウンし、Zookeeperから__consumer_offsetsトピックを削除してから、クラスターを再起動することで、この問題を解決しました。

6
xgb84j