web-dev-qa-db-ja.com

Sparkバージョンの確認方法

タイトルどおり、どのバージョンのsparkがCentOSにインストールされているかを知るにはどうすればよいですか？

現在のシステムにはcdh5.1.0がインストールされています。

apache-sparkcloudera-cdh
41
HappyCoding

Spark-Shellを使用する場合、最初にバナーに表示されます。

プログラム的に、SparkContext.versionを使用できます。

67
Shyamendra Solanki

Spark Shell Terminalを開き、sc.versionを実行します

enter image description here

31
Venu A Positive

Spark-submitコマンドを使用できます：spark-submit --version

26
Ozgur Ozturk

Spark 2.xプログラム/シェルでは、

使用

spark.version

spark変数はSparkSessionオブジェクトのものです

spark-Shellの開始時にコンソールログを使用する

[root@bdhost001 ~]$ spark-Shell
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.2.0
      /_/

コード/シェルに入ることなく

spark-Shell --version

[root@bdhost001 ~]$ spark-Shell --version
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.2.0
      /_/

Type --help for more information.

spark-submit --version

[root@bdhost001 ~]$ spark-submit --version
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.2.0
      /_/

Type --help for more information.
11
mrsrinivas

Databricksを使用してノートブックと話している場合は、次を実行します。

spark.version
7
Pat

以下を使用してsparkバージョンを取得します

spark-submit --version
4
Swift user

Zeppelin Notebookを使用している場合は、次を実行できます。

sc.version

scalaのバージョンも知るために実行できます：

util.Properties.versionString
3
HISI

どちらのシェルコマンドを使用しても、spark-Shellまたはpysparkのいずれかを使用すると、Sparkロゴとその横にバージョン名が表示されます。

$ pyspark
$ Python 2.6.6（r266：84292、2015年5月22日、08：34：51）[GCC 4.4.7 20120313（Red Hat 4.4.7-15）] on linux2。 ........... ...........へようこそ
バージョン1.3.0

3
Murari Goswami

Pysparkを使用している場合、使用されているsparkバージョンは、以下に示すように太字のSparkロゴの横に表示されます。

manoj@hadoop-Host:~$ pyspark
Python 2.7.6 (default, Jun 22 2015, 17:58:13)
[GCC 4.8.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).

Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 1.6.0
      /_/

Using Python version 2.7.6 (default, Jun 22 2015 17:58:13)
SparkContext available as sc, HiveContext available as sqlContext.
>>>

sparkバージョンを明示的に取得する場合は、以下に示すようにSparkContextのバージョンメソッドを使用できます。

>>>
>>> sc.version
u'1.6.0'
>>>
1
Manoj Kumar G