web-dev-qa-db-ja.com

spark-structured-streaming

Spark構造化ストリーミング-静的データセットをストリーミングデータセットに結合する

Spark構造化ストリーミングでの複数の集約

構造化ストリーミングを使用してKafkaからJSON形式でレコードを読み取る方法は?

スキーマを文字列として(つまり、JSONでエンコードされたスキーマ)from_jsonを使用するにはどうすればよいですか?

手動で信頼できるオフセット管理のための構造化クエリのKafkaオフセットを取得するには?

format( "kafka")が "データソースの検出に失敗しました:kafka"で失敗するのはなぜですか。 (uber-jarでも)?

Spark構造化ストリーミングはタイムスタンプを現地時間に自動的に変換します

$= kafka構造化ストリーミングのデータソース]にgroup.idを設定する方法

Httpメディアストリーミングサーバー

なぜSparkアプリケーションはsbtアセンブリのuber-jarとして「ClassNotFoundException:Failed to find data source:kafka」で失敗しますか?

from_jsonをKafka connect0.10およびSpark構造化ストリーミングで使用する方法は?

Spark Structured Streaming [SparkException:Task not serializable]]のJDBCシンクを記述する方法?

透かし付きの追加出力モードを使用する場合の構造化ストリーミング例外

spark構造化ストリーミングで個別のストリーミングクエリを実行する

Spark構造化ストリーミング:複数のシンク

完全出力モードで集計が必要なのはなぜですか?

Spark構造化ストリーミングを使用してディレクトリを継続的に監視する方法

Spark構造化ストリーミングForeachWriterとデータベースのパフォーマンス

Zeppelinのコンソールストリーミングシンクから出力を取得する方法

カスタムストリーミングデータソースを作成するにはどうすればよいですか?

Amazon SQSからストリーミングデータをロードする方法は?

Spark構造化ストリーミングチェックポイントのクリーンアップ

Spark構造化ストリーミングkafkaスキーマなしでJSONを変換(スキーマを推測)

Spark Confluent Schema Registryと構造化ストリーミングの統合

構造化ストリーミングは/_spark_metadata/9.compactが存在しないことを引用してファイルシンクにDFを書き込みません

Spark 2.3.0データソースが見つかりませんでした:kafka

spark構造化ストリーミングDataFrameをHive外部テーブル/場所に挿入する方法は?

PysparkでForeachまたはForeachBatchを使用してデータベースに書き込む方法は?

Spark DataFrame:orderByの後のgroupByはその順序を維持しますか?

「spark.yarn.executor.memoryOverhead」設定の値は?

Sparkストリーミング-読み取りおよび書き込みKafkaトピック

あるAndroid電話から別の電話へのWiFi経由のライブストリームビデオ

Androidのライブストリーミングアプリを作成する

DIY:ビデオストリーミングサーバー

Apacheでシャッフル流出を最適化する方法Spark application

ドロップsparkキャッシュからのデータフレーム

Sparkドライバメモリとエグゼキュータメモリ

テーブルを更新して同時に実行する方法は?

Apacheでグループを含むリストとして行を収集するspark

SparseVector列を持つRDDをVectorとして列を持つDataFrameに変換するにはどうすればよいですか?

PySparkで複数の機能をエンコードして組み立てる

Apache Spark 2.0:Java.lang.UnsupportedOperationException:Java.time.LocalDateのエンコーダーが見つかりません

scalaリストをDataFrameまたはDataSetに変換

データフレーム行を更新された行にマップしようとしたときにエンコーダエラーが発生しました

Scala:Spark SQL to_date(unix_timestamp)がNULLを返す

Spark 2.0データセットとデータフレーム

Spark DataSetフィルターのパフォーマンス

DataFrameからLibSVM形式にデータを準備する方法は?

行タイプのエンコーダーSpark Datasets

sparkヒープメモリ構成とタングステンがオフ

列全体の大文字小文字を小文字に変更する方法は?

データフレームをlibsvm形式に変換します

ドットの列名spark

Sparkのさまざまな結合タイプは何ですか?

Spark dataframe / datasetの効率的な結合のためのパーティションデータ

spark DFまたはDS?

StreamingContextの開始が「IllegalArgumentException:要件の失敗:出力操作が登録されていないため、何も実行しない」で失敗するのはなぜですか?

spark ssc.textFileStreamはディレクトリからファイルをストリーミングしていません

java.lang.NoClassDefFoundError:org / Apache / spark / streaming / Twitter / TwitterUtils $ TwitterPopularTagsの実行中

共同パーティション化されたRDDを結合すると、Apache Sparkでシャッフルが発生しますか?

Spark Pythonを使用:ステージxの解決方法には、非常に大きなサイズ(xxx KB)のタスクが含まれます。最大推奨タスクサイズは100 KBです。

マップ関数の条件

Sparkと一緒にSpringを使用する

AmazonEMRでsparkマスターURLを見つける方法

イテレータからSpark RDDを作成する方法は?

糸でジョブをストリーミングするspark)を開始/停止する正しい方法は何ですか?

Spark ZKまたはKafkaに消費され、再起動後に読み戻すことができる)最新のオフセットを保存する方法

Spark DStreamでの変換とマップの正確な違いは何ですか。

sparkストリーミングジョブを停止するにはどうすればよいですか?

ScalaとPython=同じプロジェクトで使用する方法Sparkプロジェクト?

spark=ストリーミングでブロードキャスト変数を更新するにはどうすればよいですか?

spark-submitの--packagesを使用して複数の依存関係を指定するにはどうすればよいですか?

Amazon s3aは、Spark

Sparkストリーミング+ Kafka:SparkException:セットのリーダーオフセットが見つかりませんでした

Spark:複数のkafkaトピックを並行して処理します

Spark DStreamsのストリーミングチェックポイント

データソースがなくなったときにストリーミングを停止する方法spark

DStream.foreachRDD関数の意味は何ですか?

Spark Scala rdd.foreachPartitionからデータを取り戻す

Kafkaプロデューサー-org.Apache.kafka.common.serialization.StringSerializerが見つかりませんでした

Spark)を使用してAzureBlobからデータを読み取る

KafkaトピックパーティションからSparkストリーミング

build.sbt:spark依存関係を追加する方法

SparkストリーミングKafka-createDirectStream vs createStream

スキーマを使用して、SparkでAVROメッセージをDataFrameに変換します。

Apache-sparkからのピアメッセージによる接続リセットを修正する方法は?

pysparkでjsonファイルを読み取る

YARNクライアントモードでspark-Shellを使用したClosedChannelExceptionの理由を知る方法

制限Kafka使用時のバッチサイズSparkストリーミング

実行を停止する方法Sparkストリーミングアプリケーションを優雅に?

SparkストリーミングKafkaコンシューマの「Java.io.NotSerializableException:org.Apache.kafka.clients.consumer.ConsumerRecord」を修正する方法

ストリーミングソースを使用したクエリは、writeStream.start()を使用して実行する必要があります。

Kafka with Spark 2.0.2(構造化ストリーミング)からのA​​vroメッセージの読み取り

使用済みメモリ、コミット済みメモリ、最大ヒープメモリの違い

scalaを使用してhdfsディレクトリ内のファイルを読み取った後、どのように削除しますか

Sparkストリーミング-jsonをKafkaから読み取り、jsonを他のKafkaトピックに書き込む

AbstractMethodError creating Kafka stream

SBTテストエラー:Java.lang.NoSuchMethodError:net.jpountz.lz4.LZ4BlockInputStream

ASP.NETでファイルをストリーミングする最良の方法

HTTPライブストリーミング、FFMPEG&FFSERVER、およびiPhone OS 3