web-dev-qa-db-ja.com

実行中の問題Spark=糸クラスター上のジョブ

spark Job in Hadoop YARN cluster modeを実行し、次のコマンドを使用しています：

spark-submit --master yarn-cluster 
             --driver-memory 1g 
             --executor-memory 1g
             --executor-cores 1 
             --class com.dc.analysis.jobs.AggregationJob
               sparkanalitic.jar param1 param2 param3

私は以下のエラーを受け取っていますが、何が間違っているのか、コマンドが正しいかどうかを教えてください。 CDH 5.3.1を使用しています。

Diagnostics: Application application_1424284032717_0066 failed 2 times due 
to AM Container for appattempt_1424284032717_0066_000002 exited with  
exitCode: 15 due to: Exception from container-launch.

Container id: container_1424284032717_0066_02_000001
Exit code: 15
Stack trace: ExitCodeException exitCode=15: 
    at org.Apache.hadoop.util.Shell.runCommand(Shell.Java:538)
    at org.Apache.hadoop.util.Shell.run(Shell.Java:455)
    at org.Apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.Java:702)
    at org.Apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.Java:197)
    at org.Apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.Java:299)
    at org.Apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.Java:81)
    at Java.util.concurrent.FutureTask.run(FutureTask.Java:262)
    at Java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.Java:1145)
    at Java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.Java:615)
    at Java.lang.Thread.run(Thread.Java:745)  

Container exited with a non-zero exit code 15
.Failing this attempt.. Failing the application.
     ApplicationMaster Host: N/A
     ApplicationMaster RPC port: -1
     queue: root.hdfs
     start time: 1424699723648
     final status: FAILED
     tracking URL: http://myhostname:8088/cluster/app/application_1424284032717_0066
     user: hdfs

2015-02-23 19:26:04 DEBUG Client - stopping client from cache: org.Apache.hadoop.ipc.Client@4085f1ac
2015-02-23 19:26:04 DEBUG Utils - Shutdown hook called
2015-02-23 19:26:05 DEBUG Utils - Shutdown hook called

どんな助けも大歓迎です。

hadoopapache-sparkhdfsyarncloudera
18
Sachin Singh

多くのことを意味する可能性があります。サポートされていないJavaクラスバージョンのために同様のエラーメッセージが表示され、プロジェクトの参照されたJavaクラスを削除することで問題を修正しました。

詳細なエラーメッセージを表示するには、次のコマンドを使用します。

yarn logs -applicationId application_1424284032717_0066
21
Gongqin Shen

コード内の「.setMaster（ "local"）」を削除する必要があります。

3
Vinícius P. Freire

終了コードの問題は、Hive-site.xml in spark/confディレクトリ。

1
Sachin Singh

コマンドは正しいようです。

私が出くわしたのは、「終了コード15」は通常、TableNotFound例外を示しているということです。これは通常、送信するコードにエラーがあることを意味します。

これを確認するには、トラッキングURLにアクセスしてください。

1
amd

クラスターでsparkジョブを実行している場合は、spark構成ファイルの"spark.master":"local[*] "行を削除します。

ローカルPCで実行する場合、それを含めます。

マニ

0
manikandan muthuraj