web-dev-qa-db-ja.com

実行時にsbtがエラーになったSpark hello world code？

spark hello worldプログラムを実行すると、次のエラーが発生しました。

 [info] {file：/ C：/ Users/user1/IdeaProjects/sqlServer /} sqlserver ... 
 [info]を更新しています。org.Apache.spark＃spark-core_2.12を解決しています。 2.1.1 ... 
 [warn]モジュールが見つかりません：org.Apache.spark＃spark-core_2.12; 2.1.1 
 [warn] ====ローカル：試行されました
 [警告] C：\ Users\user1\.ivy2\local\org.Apache.spark\spark-core_2.12\2.1.1\ivys\ivy.xml 
 [警告] === =公開：試行済み
 [警告] https://repo1.maven.org/maven2/org/Apache/spark/spark-core_2.12/2.1.1/spark-core_2.12-2.1.1。 pom 
 [warn] ==== local-preloaded-ivy：試行
 [warn] C：\ Users\user1\.sbt\preloaded\org.Apache.spark\spark-core_2。 12\2.1.1\ivys\ivy.xml 
 [warn] ==== local-preloaded：received 
 [warn] file：/ C：/Users/user1/.sbt/preloaded /org/Apache/spark/spark-core_2.12/2.1.1/spark-core_2.12-2.1.1.pom
[info] jline＃jline; 2.14.3を解決しています... 
 [警告] ::::::::::::::::::::::::::::::::::::::::::::: ：
 [警告] ::未解決の依存関係:: 
 [警告] ::::::::::::::::: ::::::::::::::::::::::::::::: 
 [warn] :: org.Apache.spark＃spark-core_2.12 ; 2.1.1：見つかりません
 [警告] ::::::::::::::::::::::::::::::::::: ::::::::::: 
 [warn] 
 [warn]注：未解決の依存関係パス：
 [warn] org.Apache.spark：spark-core_2 .12：2.1.1（C：\ Users\user1\IdeaProjects\sqlServer\build.sbt＃L7-8）
 [warn] +-mpa：mpa_2.12：1.0 
 [trace ]スタックトレースが抑制されました：最後に実行*：完全な出力に対して更新します。 ：見つかりません
 [エラー]合計時間：1秒、2017年5月9日完了11:05:44 AM

これがbuild.sbtです。

name := "Mpa"
version := "1.0"
scalaVersion := "2.11.8"
libraryDependencies += "org.Apache.spark" %% "spark-core" % "2.1.1"

私のSpark webcomeメッセージ。

ようこそ
 ____ __ 
/__/__ ___ _____//__
 _\\/_ \/_ `/ __/'_/
/___/.__/\ _、_/_// _/\ _ \バージョン2.1.1 
/_/
 
 Scalaバージョン2.11.8（Java HotSpot（TM）64ビットサーバーVM、Java 1.8.0_111）
式を入力して評価します。
詳細については、：helpと入力してください。

更新：

built.sbtから

name := "Mpa"
version := "1.0"
scalaVersion := "2.11.8"
libraryDependencies += "org.Apache.spark" %% "spark-core_2.11" % "2.1.0"

しかし、まだ得た

 [info] {file：/ C：/ Users/user1/IdeaProjects/sqlServer /} sqlserver ... 
 [info] org.Apache.spark＃spark-core_2.11_2を解決しています。 11; 2.1.0 ... 
 [warn]モジュールが見つかりません：org.Apache.spark＃spark-core_2.11_2.11; 2.1.0 
 [warn] ====ローカル：試行済み
 [警告] C：\ Users\user1\.ivy2\local\org.Apache.spark\spark-core_2.11_2.11\2.1.0\ivys\ivy.xml 
 [警告] ====公開：試行済み
 [警告] https://repo1.maven.org/maven2/org/Apache/spark/spark-core_2.11_2.11/2.1.0/spark- core_2.11_2.11-2.1.0.pom 
 [warn] ==== local-preloaded-ivy：試行
 [warn] C：\ Users\user1\.sbt\preloaded\org.Apache.spark\spark-core_2.11_2.11\2.1.0\ivys\ivy.xml 
 [warn] ==== local-preloaded：started 
 [warn]ファイル： /C:/Users/user1/.sbt/preloaded/org/Apache/spark/spark/spark-core_2.11_2.11/2.1.0/spark-core_2.11_2.11-2.1.0.pom 
 [ info] jline＃jline; 2.12.1を解決しています... 
 [warn] ::::::::::::::::::::::::::::: ::::::::::::::::: 
 [warn] ::未解決の依存関係:: 
 [警告] ::::::::::::::::::::::::::::::::::::::::: :::::: 
 [警告] :: org.Apache.spark＃spark-core_2.11_2.11; 2.1.0：見つかりません
 [警告] :::::: :::::::::::::::::::::::::::::::::::::::: 
 [警告] 
 [警告]注：未解決の依存関係パス：
 [警告] org.Apache.spark：spark-core_2.11_2.11：2.1.0（C：\ Users\user1\IdeaProjects\sqlServer\build .sbt＃L7-8）
 [warn] +-mpa：mpa_2.11：1.0 
 [trace]スタックトレースが抑制されました：最後に実行*：完全な出力用に更新します。 ] [エラー]（*：更新）sbt.ResolveException：未解決の依存関係：org.Apache.spark＃spark-core_2.11_2.11; 2.1.0：not found 
 [error]合計時間：1秒、 2017年5月9日完了1:01:01 PM
scalaapache-sparksbt
9
ca9163d9

Built.sbtファイルにエラーがあります。%%を%に変更する必要があります：

name := "Mpa"
version := "1.0"
scalaVersion := "2.11.8"
libraryDependencies += "org.Apache.spark" % "spark-core" % "2.1.1"

%%はSbtに現在のscalaバージョンをアーティファクトに追加するように要求します

spark-core_2.11と%を併用すると、問題を解決できます。

// https://mvnrepository.com/artifact/org.Apache.spark/spark-core_2.11
libraryDependencies += "org.Apache.spark" % "spark-core_2.11" % "2.1.0"

お役に立てれば！

14
Shankar Koirala

同じエラーが発生しました。

build.sbt

name := "Simple Project"  
version := "1.0"  
scalaVersion := "2.12.3"  
libraryDependencies += "org.Apache.spark" %% "spark-sql" % "2.2.0"

scalaVersionを2.11.8以下に変更するだけです。そしてそれは機能します。

5
许传华

同じエラーが発生し、以下の手順で解決しました。基本的に、ファイル名はsbt設定と一致しませんでした。
-spark $ SPARK_HOME/jarsのコアjarのファイル名を確認します（spark-core _2.11-2.1.1.jarです））。
-インストールscala 2.11。11。
-build.sbtをscalaVersion：= "2.11。11"に編集します。

1
Leon

これでうまくいきました。 build.sbtのサンプル

name := "testproj"

version := "0.1"

scalaVersion := "2.11.9"

libraryDependencies += "org.Apache.spark" %% "spark-sql" % "2.2.0"
0
Murali Bala

2.11.12で機能するバージョン管理ペア。

scalaVersion := "2.11.12"

libraryDependencies ++= Seq(
  "org.Apache.spark" %% "spark-core" % "2.3.2",
  "org.Apache.spark" %% "spark-sql" % "2.3.2"
)
0
the775

SparkSessionはspark-sqlライブラリで利用できます。 spark-sql依存関係をビルドに追加する必要があります。

libraryDependencies += "org.Apache.spark" %% "spark-sql" % "2.2.1"
0
vijayraj34