web-dev-qa-db-ja.com

spark-streaming-kafka

Sparkストリーミング-読み取りおよび書き込みKafkaトピック

$= kafka構造化ストリーミングのデータソース]にgroup.idを設定する方法

Httpメディアストリーミングサーバー

Spark ZKまたはKafkaに消費され、再起動後に読み戻すことができる)最新のオフセットを保存する方法

Kafkaプロデューサー-org.Apache.kafka.common.serialization.StringSerializerが見つかりませんでした

制限Kafka使用時のバッチサイズSparkストリーミング

from_jsonをKafka connect0.10およびSpark構造化ストリーミングで使用する方法は?

Kafka最適な保持および削除ポリシー

Kafka producer TimeoutException:Expiring 1 record(s)

Kafka python APIはストリーム処理をサポートしていますか?

Kafka:シリアル化されたときのメッセージが、max.request.size構成で構成した最大要求サイズより大きい

構造化ストリーミングを使用してKafkaからJSON形式でレコードを読み取る方法は?

手動で信頼できるオフセット管理のための構造化クエリのKafkaオフセットを取得するには?

Spark DataFrame:orderByの後のgroupByはその順序を維持しますか?

「spark.yarn.executor.memoryOverhead」設定の値は?

Spark構造化ストリーミング-静的データセットをストリーミングデータセットに結合する

Sparkストリーミング+ Kafka:SparkException:セットのリーダーオフセットが見つかりませんでした

Spark:複数のkafkaトピックを並行して処理します

データソースがなくなったときにストリーミングを停止する方法spark

KafkaトピックパーティションからSparkストリーミング

SparkストリーミングKafka-createDirectStream vs createStream

スキーマを使用して、SparkでAVROメッセージをDataFrameに変換します。

SparkストリーミングKafkaコンシューマの「Java.io.NotSerializableException:org.Apache.kafka.clients.consumer.ConsumerRecord」を修正する方法

Kafka with Spark 2.0.2(構造化ストリーミング)からのA​​vroメッセージの読み取り

Sparkストリーミング-jsonをKafkaから読み取り、jsonを他のKafkaトピックに書き込む

Spark構造化ストリーミングkafkaスキーマなしでJSONを変換(スキーマを推測)

Spark Confluent Schema Registryと構造化ストリーミングの統合

AbstractMethodError creating Kafka stream

Spark 2.3.0データソースが見つかりませんでした:kafka

あるAndroid電話から別の電話へのWiFi経由のライブストリームビデオ

Androidのライブストリーミングアプリを作成する

DIY:ビデオストリーミングサーバー

ファイルをKafka Producerに書き込む方法

Kafka:kafka-console-consumerを接続してリモートブローカーのトピックコンテンツを取得する方法は?

メッセージがプロデューサーによって生成された場合、Kafkaブローカーから確認応答を取得する方法は?

Kafkaトピックメタデータをフェッチするときにコンシューマーが「リーダーを見つけられませんでした」

kafkaトピックのパーティションの最新のオフセットを取得する方法は?

Kafka Mavenの依存関係

Kafkaリクエストレスポンスメッセージングをサポート

Apache kafkaでトピックを作成する方法は?

KafkaはJava.nio.channels.ClosedChannelExceptionをスローします

kafkaコンシューマーでロジックを再試行します

トピック、パーティション、キー

Kafkaトピックとパーティションについて

INFOセッションID0x15698f5ac360001(org.Apache.zookeeper.server.NIOServerCnxn)を持つクライアント/127.0.0.1:48452のソケット接続を閉じました

Kafka-ログ終了オフセット(LEO)とハイウォーターマーク(HW)の差

Kafka消費者が消費を開始するのに長い時間がかかるのはなぜですか?

Spring Boot Kafka:NoSuchBeanDefinitionExceptionが原因でコンシューマーを開始できない

Kafkaコンシューマ例外およびオフセットコミット

Kafkaリーダー選出はいつ行われますか?

kafkaトピックに送信するときにメッセージをシリアル化するときにエラーが発生しました

Kafka:コンシューマーAPIとStreams API

春Kafka消費者の再試行

org.Apache.kafka.common.KafkaException:構築に失敗しましたkafka consumer

Elasticsearchとの接続方法Kafka?

kafkaはデフォルトのWeb UIを持っていますか?

SpringBootを使用してkafkaコンシューマー同時実行性を設定する方法

kafkaトピックのパーティション数を選択する方法は?

Kafka Spring Bootを使用したスト​​リーム

リストKafka Spring経由のトピック-Kafka

.NetのConfluent.Kafkaを使用して特定のTopicPartitionOffsetから消費する方法

Spring Kafkaハイウォーターマークファイルへの書き込み中に統合テストエラーが発生しました

JAASまたはKafka config(Kerberosではない)のいずれにもserviceNameが定義されていません

いつConcurrentKafkaListenerContainerFactoryを使用するのですか?

kafka.common.errors.TimeOutException:期限切れの1レコードXXX MSがバッチ作成以降に経過した

KafkaメッセージVS REST通話

Kafka Brokerが稼働中であるかどうかをプログラムで確認する方法Python

kafkaコンソールプロデューサーでキー、バリューメッセージを送信する方法

org.apache.kafka.common.utils.kafkathread - スレッドのカフカプロデューサー - ネットワークスレッドのアカウント例外

Apacheでシャッフル流出を最適化する方法Spark application

ドロップsparkキャッシュからのデータフレーム

Spark構造化ストリーミングでの複数の集約

Sparkドライバメモリとエグゼキュータメモリ

テーブルを更新して同時に実行する方法は?

スキーマを文字列として(つまり、JSONでエンコードされたスキーマ)from_jsonを使用するにはどうすればよいですか?

format( "kafka")が "データソースの検出に失敗しました:kafka"で失敗するのはなぜですか。 (uber-jarでも)?

Spark構造化ストリーミングはタイムスタンプを現地時間に自動的に変換します

Apacheでグループを含むリストとして行を収集するspark

IBM MQ対Apache Kafka

jupyterノートブックのpysparkにカスタムjarを追加する

SparseVector列を持つRDDをVectorとして列を持つDataFrameに変換するにはどうすればよいですか?

PySparkで複数の機能をエンコードして組み立てる

Apache Spark 2.0:Java.lang.UnsupportedOperationException:Java.time.LocalDateのエンコーダーが見つかりません

scalaリストをDataFrameまたはDataSetに変換

データフレーム行を更新された行にマップしようとしたときにエンコーダエラーが発生しました

Scala:Spark SQL to_date(unix_timestamp)がNULLを返す

Spark 2.0データセットとデータフレーム

Spark DataSetフィルターのパフォーマンス

DataFrameからLibSVM形式にデータを準備する方法は?

行タイプのエンコーダーSpark Datasets

sparkヒープメモリ構成とタングステンがオフ

列全体の大文字小文字を小文字に変更する方法は?

データフレームをlibsvm形式に変換します

ドットの列名spark

Sparkのさまざまな結合タイプは何ですか?

Spark dataframe / datasetの効率的な結合のためのパーティションデータ

spark DFまたはDS?

StreamingContextの開始が「IllegalArgumentException:要件の失敗:出力操作が登録されていないため、何も実行しない」で失敗するのはなぜですか?

spark ssc.textFileStreamはディレクトリからファイルをストリーミングしていません

java.lang.NoClassDefFoundError:org / Apache / spark / streaming / Twitter / TwitterUtils $ TwitterPopularTagsの実行中