web-dev-qa-db-ja.com

例外：Java.lang.Exception：マスター 'yarn'で実行する場合、HADOOP_CONF_DIRまたはYARN_CONF_DIRのいずれかを環境で設定する必要があります。 spark

私は新しいApache-sparkです。一部のアプリケーションをsparkスタンドアロンモードでテストしましたが、アプリケーションヤーンモードを実行したいのです。Apache-spark2.1.0をWindowsで実行しています。ここに私のコードがあります。

c:\spark>spark-submit2 --master yarn --deploy-mode client --executor-cores 4 --jars C:\DependencyJars\spark-streaming-eventhubs_2.11-2.0.3.jar,C:\DependencyJars\scalaj-http_2.11-2.3.0.jar,C:\DependencyJars\config-1.3.1.jar,C:\DependencyJars\commons-lang3-3.3.2.jar --conf spark.driver.userClasspathFirst=true --conf spark.executor.extraClassPath=C:\DependencyJars\commons-lang3-3.3.2.jar --conf spark.executor.userClasspathFirst=true --class "GeoLogConsumerRT" C:\sbtazure\target\scala-2.11\azuregeologproject_2.11-1.0.jar

例外：マスター 'yarn'で実行する場合、HADOOP_CONF_DIRまたはYARN_CONF_DIRのいずれかを環境で設定する必要があります。スパークで

ウェブサイトの検索から。私はHadoop_CONF_DIRという名前のフォルダーを作成し、その中にHive site.xmlを置き、環境変数としてポイントしました。その後、spark-submitを実行した後、

接続拒否の例外糸モードを適切に設定できなかったと思います。この問題を解決するために誰かが私を助けてくれませんか？ Hadoopとyarnを別々にインストールする必要がありますか？アプリケーションを疑似分散モードで実行したいのですが、ウィンドウズでyarnモードを設定するのを手伝ってくださいおかげで

hadoopapache-sparkpysparkyarn
10
Kalyan

2つの変数をエクスポートする必要がありますHADOOP_CONF_DIRおよびYARN_CONF_DIRを使用して、設定ファイルを公開します。 Linuxを使用している場合は、.bashrcファイルで以下のコードを使用します。

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

Windowsでは、環境変数を設定する必要があります。

お役に立てれば！

15
koiralo

Yarnを使用してsparkを実行している場合は、これをspark-env.shに追加する必要があります。

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
1
Rahul Bhat