web-dev-qa-db-ja.com

春の現在のオフセットを確認する方法kafka手動コミットの場合

私はSpring Kafka=を初めて使用していますが、Acknowledgement.acknowledge（）メソッドを使用してコンシューマーコードで手動コミットすることはできません。条件に基づいて承認オフセットを処理する他の方法があります。ここでは、オフセットが手動でコミット/承認されない場合、消費者が同じメッセージ/オフセットを選択するようなソリューションを探しています。

import Java.util.HashMap;
import Java.util.Map;

import org.Apache.kafka.clients.consumer.ConsumerConfig;
import org.Apache.kafka.common.serialization.StringDeserializer;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.kafka.annotation.EnableKafka;
import org.springframework.kafka.config.ConcurrentKafkaListenerContainerFactory;
import org.springframework.kafka.core.DefaultKafkaConsumerFactory;
import org.springframework.kafka.listener.AbstractMessageListenerContainer.AckMode;

@EnableKafka
@Configuration
public class ConsumerConfig {

@Value(value = "${kafka.bootstrapAddress}")
private String bootstrapAddress;

@Value(value = "${kafka.groupId}")
private String groupId;

@Bean
public ConcurrentKafkaListenerContainerFactory<String, String> containerFactory() {
Map<String, Object> props = new HashMap<String, Object>();
props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapAddress);
props.put(ConsumerConfig.GROUP_ID_CONFIG, groupId);
props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, false);
props.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, 100);
props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG,
        StringDeserializer.class);
props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,
        StringDeserializer.class);
props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest");
ConcurrentKafkaListenerContainerFactory<String, String> factory = new ConcurrentKafkaListenerContainerFactory<String, String>();
factory.setConsumerFactory(new DefaultKafkaConsumerFactory<String, String>(
        props));
factory.getContainerProperties().setAckMode(AckMode.MANUAL_IMMEDIATE);
factory.getContainerProperties().setSyncCommits(true);
return factory;
}
}
------------------------

private static int value = 1;

@KafkaListener(id = "baz", topics = "${message.topic.name}", containerFactory = "containerFactory")
public void listenPEN_RE(@Payload String message,
@Header(KafkaHeaders.RECEIVED_PARTITION_ID) int partition,
@Header(KafkaHeaders.OFFSET) int offsets,
Acknowledgment acknowledgment) {
if (value%2==0){
        acknowledgment.acknowledge();
}
value++;
}
apache-kafkaspring-kafka
9
user2550140

Enable-auto-commitプロパティをfalseに設定します。

propsMap.put（ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG、false）;

Ack-modeをMANUAL_IMMEDIATEに設定します。

factory.getContainerProperties（）。setAckMode（AbstractMessageListenerContainer.AckMode.MANUAL_IMMEDIATE）;

次に、コンシューマ/リスナーコードで、次のようにオフセットを手動でコミットできます。

@KafkaListener(topics = "testKafka")
public void receive(ConsumerRecord<?, ?> consumerRecord,  
        Acknowledgment acknowledgment) {

    System.out.println("Received message: ");
    System.out.println(consumerRecord.value().toString());

    acknowledgment.acknowledge();
}

更新：このために小さなPOCを作成しました。 こちら をご覧ください。

15
contactsunny

次のことができます：
1。現在のレコードオフセットをファイルまたはDBに保存します。
2。 ConsumerAwareでkafka=リスナークラスを実装します。
3。以下のようにregisterSeekCallbackを呼び出します。

(registerSeekCallback(ConsumerSeekCallback callback) 
      {
      callback.seek(topic, partition, offset)
}

そのため、コンシューマーがダウンした場合、または新しいコンシューマーが割り当てられた場合、DBに格納されているオフセットから読み取りを開始します。

1
Zubair A.

Apache Kafkaではそのようには動作しません。

現在実行中のコンシューマーについては、オフセットのコミットについて心配することはありません。同じ消費者グループの新しい消費者に対してのみ永続化する必要があります。現在のものは、メモリ内でオフセットを追跡します。ブローカーのどこかにあると思います。

同じコンシューマで同じメッセージを再フェッチする必要がある場合は、次のポーリングラウンドでseek()機能を使用することを検討する必要があります。 https://docs.spring.io/spring-kafka/ docs/2.0.1.RELEASE/reference/html/_reference.html＃seek

0
Artem Bilan