web-dev-qa-db-ja.com

Sparkプロパティ（Spark 1.6）を通じてSpark-ShellでHiveサポートを有効または無効にする方法は？

spark 1.6で明示的にspark-Shellを介してHiveサポートを無効/有効にするように設定できる設定プロパティはありますか？すべてのsqlContext設定プロパティを取得しようとしました、

sqlContext.getAllConfs.foreach(println)

しかし、Hiveサポートを無効または有効にするために実際にどのプロパティが必要になるかはわかりません。またはこれを行う他の方法はありますか？

apache-sparkhiveapache-spark-sqlapache-spark-1.6
5
Krishna Reddy

スパーク> = 2.0

Hiveコンテキストの有効化と無効化はconfig spark.sql.catalogImplementationで可能です

spark.sql.catalogImplementationの可能な値は、in-memoryまたはハイブ

SPARK-16013 spark-Shell/pysparkでHiveContextを無効にするオプションを追加

スパーク<2.0

そのようなSparkプロパティはで利用できませんSpark 1.6。

これを回避する1つの方法は、Hive関連のjarを削除することです。これにより、Spark（as Spark has required Hive support when Hive classes when利用可能です）。

11
Jacek Laskowski

sparkセッションを作成するだけでspark> = 2.0でのみ：

val spark = SparkSession
  .builder()
  .appName("Spark Hive Example")
  .config("spark.sql.warehouse.dir", warehouseLocation)
  .enableHiveSupport()
  .getOrCreate()

そして、ここでHiveを変更する方法でHiveを構成する方法を読むことができますspark Hiveおよびspark Hive-site.xml、spark-defaults.confのプロパティ：- https://cwiki.Apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started -spark 1.6.1で動作する必要があります

4
Yehor Krivokon