web-dev-qa-db-ja.com

kafka最も早いオフセット値と最新のオフセット値の違いは何ですか

producerはメッセージ1、2、3、4を送信します

consumerはメッセージ1、2、3、4を受信します

consumerがクラッシュ/切断する

producerはメッセージ5、6、7を送信します

consumerが復活し、7ではなく5から始まるメッセージを受信するはずです

この種の結果では、どのoffset値を使用する必要があり、他に必要な変更/構成は何ですか

14
Sat

コンシューマがコンシューマグループに参加すると、最後にコミットされたオフセットをフェッチするため、クラッシュする前に最新のオフセット(4)をコミットした場合、5、6、7から読み取りを再開します。 auto.offset.resetプロパティのearliestおよびlatest値は、コンシューマーの起動時に使用されますが、割り当てられたパーティションのコミット済みオフセットはありません。この場合、すべてのメッセージを最初から再読み込みする(最も早い)か、最後のメッセージの直後(最新)にするかを選択できます。

20
ppatierno