web-dev-qa-db-ja.com

build.sbt：spark依存関係を追加する方法

こんにちは、ダウンロードしようとしていますspark-core、spark-streaming、Twitter4j、およびspark-streaming-Twitter以下のbuild.sbtファイル：

name := "hello"

version := "1.0"

scalaVersion := "2.11.8"

libraryDependencies += "org.Apache.spark" %% "spark-core" % "1.6.1"
libraryDependencies += "org.Apache.spark" % "spark-streaming_2.10" % "1.4.1"

libraryDependencies ++= Seq(
  "org.Twitter4j" % "Twitter4j-core" % "3.0.3",
  "org.Twitter4j" % "Twitter4j-stream" % "3.0.3"
)

libraryDependencies += "org.Apache.spark" % "spark-streaming-Twitter_2.10" % "0.9.0-incubating"

単にこのlibraryDependenciesをオンラインにしたので、どのバージョンなどを使用すべきかわかりません。

誰かが私にこの.sbtファイルの修正方法を説明してもらえますか。私はそれを理解しようとして数時間を費やしましたが、どの提案も機能しませんでした。 homebrewでscalaをインストールしましたが、バージョン2.11.8

私のエラーはすべて次のものでした。

Modules were resolved with conflicting cross-version suffixes.
scalaapache-sparksbtspark-streaming
33
Bobby

問題は、Scala 2.11と2.10のアーティファクトが混在していることです。

scalaVersion := "2.11.8"

その後：

libraryDependencies += "org.Apache.spark" % "spark-streaming_2.10" % "1.4.1"

2.10アーティファクトが必要な場所。また、一貫したバージョンを使用する代わりに、Sparkバージョンを混合しています：

// spark 1.6.1
libraryDependencies += "org.Apache.spark" %% "spark-core" % "1.6.1"

// spark 1.4.1
libraryDependencies += "org.Apache.spark" % "spark-streaming_2.10" % "1.4.1"

// spark 0.9.0-incubating
libraryDependencies += "org.Apache.spark" % "spark-streaming-Twitter_2.10" % "0.9.0-incubating"

両方の問題を修正するbuild.sbtは次のとおりです。

name := "hello"

version := "1.0"

scalaVersion := "2.11.8"

val sparkVersion = "1.6.1"

libraryDependencies ++= Seq(
  "org.Apache.spark" %% "spark-core" % sparkVersion,
  "org.Apache.spark" %% "spark-streaming" % sparkVersion,
  "org.Apache.spark" %% "spark-streaming-Twitter" % sparkVersion
)

また、Twitter4jによって推移的に追加されるため、spark-streaming-Twitter依存関係を手動で追加する必要もありません。

43
marcospereira

わたしにはできる：

name := "spark_local"

version := "0.1"

scalaVersion := "2.11.8"


libraryDependencies ++= Seq(
  "org.Twitter4j" % "Twitter4j-core" % "3.0.5",
  "org.Twitter4j" % "Twitter4j-stream" % "3.0.5",
  "org.Apache.spark" %% "spark-core" % "2.0.0",
  "org.Apache.spark" %% "spark-sql" % "2.0.0",
  "org.Apache.spark" %% "spark-mllib" % "2.0.0",
  "org.Apache.spark" %% "spark-streaming" % "2.0.0"
)
5
AlexPes