web-dev-qa-db-ja.com

すべてのkafkaトピックをリストする

私はkafka 0.10なしzookeeper。 kafkaトピックリストを取得したい。 zookeeperを使用していないため、このコマンドは機能しません：bin/kafka-topics.sh --list --zookeeper localhost:2181。 zookeeperなしで同じ出力を取得するにはどうすればよいですか？

apache-kafkaapache-zookeeper
42
SSR

KafkaはZooKeeperを使用するため、ZooKeeperサーバーがまだない場合は、最初に起動する必要があります。

個別のzookeeperサーバーをインストールしたくない場合は、kafkaにパッケージ化された便利なスクリプトを使用して、迅速で汚い単一ノードのZooKeeperインスタンスを取得できます。

単一ノードのZookeeperインスタンスの開始：

bin/zookeeper-server-start.sh config/zookeeper.properties

Kafkaサーバーの開始：

bin/kafka-server-start.sh config/server.properties

Kafkaで利用可能なトピックのリスト：

bin/kafka-topics.sh --list --zookeeper localhost:2181
68
Daniccan

list topicコマンドを実行すると、そのトピックが表示されます。

$ bin/kafka-topics.sh --list --zookeeper localhost:2181

データがカフカに着陸しているかどうかを確認するには：

$ bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic twitterstream --from-beginning

13
Enggar R Hariawan

ドッキングされたカフカ/ズーキーパー用

docker ps

あなたのzookeeperコンテナIDを見つけます

docker exec -it <id> bash

cd bin

./zkCli.sh

ls /brokers/topics
4
MagGGG

Kafkaにはzookeeperが必要で、実際にはトピックのリストがそこに保存されているため、kafka-topicsツールもzookeeperに接続する必要があります。新しいバージョンのkafka-clients apiはzookeeperと通信しなくなりました直接kafkaは内部的に依存しているため、そうではありません。参照用： http://kafka.Apache.org/documentation.html#quickstart ステップ2：

KafkaはZooKeeperを使用するため、ZooKeeperサーバーがまだない場合は最初に起動する必要があります

4
Michal Borowiecki

Kafka 2.2以降

Kafkaの新しいバージョンでは、トピックを一覧表示するためにZooKeeper接続文字列は必要なくなりましたが、Kafkaブローカー経由で直接アクセスできます。 kafka-topics.shは、Kafkaのダウンロード時にbin/フォルダーで提供されます。トピックをリストするには、次の手順を実行します。

bin/kafka-topics.sh --list --bootstrap-server <BROKER-LIST>
3
Paul

Kafkaクライアントはzookeeperを必要としなくなりましたが、Kafkaサーバーは動作するために必要です。

新しいAdminClient APIでトピックのリストを取得できますが、Kafkaに同梱されているシェルコマンドは、この新しいAPIを使用するようにまだ書き換えられていません。

ZookeeperなしでKafkaを使用するもう1つの方法は、Confluent CloudなどのSaaS Kafka-as-a-Serviceプロバイダーを使用して、Kafkaブローカー（および必要なバックエンドZookeeperアンサンブル）。

たとえば、Confluent Cloudでは、次のzookeeper free CLIコマンドを使用するだけです。

ccloud topic list
3
Hans Jespersen

コマンド：

  1. カフカを開始するには：

    $ Nohup〜/ kafka/bin/kafka-server-start.sh〜/ kafka/config/server.properties>〜/ kafka/kafka.log 2>＆1＆

  2. Kafkaに関するすべてのトピックをリストする。

    $ bin/kafka-topics.sh --list --zookeeper localhost：2181

  3. データがkafkaトピックに到達していることを確認し、それを印刷するには、

    $ bin/kafka-console-consumer.sh --bootstrap-server localhost：9092 --topic your_topic_name --from-beginning

1
singh.indolia

Zookeeperは、Kafkaを実行するために必要です。飼育係は必須です。それでも、zookeeperなしでトピックリストを表示するには、kafka監視ツール、kafka-managerなどのKafka監視ツールが必要です。

1
Amol Suryawanshi

メッセージを読むには、次を使用する必要があります。

kafka-console-consumer.sh --bootstrap-server kafka1:9092,kafka2:9092,kafka3:9092 --topic messages --from-beginning

--bootstrap-serverは必須属性です。単一のkafka1:9020ノードのみを使用できます。

1
Dzintars

Kafkaは分散システムであり、Zookeeperが必要です。 zookeeperも起動する必要があります。こちらの「クイックスタート」に従ってください： https://kafka.Apache.org/0100/documentation.html#quickstart

1
Calden