web-dev-qa-db-ja.com

spark-submitコマンドラインでhadoop構成値を設定します

コードからawsを介して実行されるSparkContextパラメーターを設定します。

sc.hadoopConfiguration.set("fs.s3a.access.key", vault.user)
sc.hadoopConfiguration.set("fs.s3a.secret.key", vault.key)

ただし、カスタムSparkランチャーフレームワークがあり、すべてのカスタムSpark構成を--confパラメーターを介してspark-submitに実行する必要があります。コマンドライン。

SparkContextに「通知」して--conf値を一般的なhadoopConfigurationではなくSparkConfに設定する方法はありますか？の線に沿って何かを探しています

spark-submit --conf hadoop.fs.s3a.access.key $vault.user --conf hadoop.fs.s3a.access.key $vault.key

または

spark-submit --conf hadoopConfiguration.fs.s3a.access.key $vault.user --conf hadoopConfiguration.fs.s3a.access.key $vault.key
apache-sparkspark-submit
9
javadba

コマンドライン（またはSparkConfオブジェクト）でHadoop構成の前にspark.hadoop.を付ける必要があります。例えば：

spark.hadoop.fs.s3a.access.key=value
19
vanza