web-dev-qa-db-ja.com

失敗：HiveException Java.lang.RuntimeException：org.Apache.hadoop.Hive.ql.metadata.SessionHiveMetaStoreClientをインスタンス化できません

Hadoop 3.0でHive 3.1を実行しようとしています。以下は私のシステム構成です：

Ubuntu 18.04.1 LTS
Hadoop  version 3.0.3
Hive 3.1.0
Derby 10.14.2

Show tablesを実行すると、クエリ次のエラーが表示されます。

FAILED: HiveException Java.lang.RuntimeException: Unable to instantiate org.Apache.hadoop.Hive.ql.metadata.SessionHiveMetaStoreClient

以下は、Hiveログファイルの詳細エラーです。

2018-09-05T11:38:25,952  INFO [main] conf.HiveConf: Found configuration file file:/usr/local/Apache-Hive-3.1.0-bin/conf/Hive-site.xml
2018-09-05T11:38:30,549  INFO [main] SessionState: Hive Session ID = 826ec55c-7fca-4fff-baa5-b5a010e5af89
2018-09-05T11:38:35,948  INFO [main] SessionState:
Logging initialized using configuration in jar:file:/usr/local/Apache-Hive-3.1.0-bin/lib/Hive-common-3.1.0.jar!/Hive-log4j2.properties Asy$
2018-09-05T11:38:47,015  INFO [main] session.SessionState: Created HDFS directory: /tmp/Hive/hadoop
2018-09-05T11:38:47,069  INFO [main] session.SessionState: Created local directory: /tmp/mydir
2018-09-05T11:38:47,096  INFO [main] session.SessionState: Created HDFS directory: /tmp/Hive/hadoop/826ec55c-7fca-4fff-baa5-b5a010e5af89
2018-09-05T11:38:47,104  INFO [main] session.SessionState: Created local directory: /tmp/mydir/826ec55c-7fca-4fff-baa5-b5a010e5af89
2018-09-05T11:38:47,122  INFO [main] session.SessionState: Created HDFS directory: /tmp/Hive/hadoop/826ec55c-7fca-4fff-baa5-b5a010e5af89/_$
2018-09-05T11:38:47,125  INFO [main] conf.HiveConf: Using the default value passed in for log id: 826ec55c-7fca-4fff-baa5-b5a010e5af89
2018-09-05T11:38:47,126  INFO [main] session.SessionState: Updating thread name to 826ec55c-7fca-4fff-baa5-b5a010e5af89 main
2018-09-05T11:38:50,476  INFO [826ec55c-7fca-4fff-baa5-b5a010e5af89 main] metastore.HiveMetaStore: 0: Opening raw store with implementatio$
2018-09-05T11:38:50,695  WARN [826ec55c-7fca-4fff-baa5-b5a010e5af89 main] metastore.ObjectStore: datanucleus.autoStartMechanismMode is set$
2018-09-05T11:38:50,714  INFO [826ec55c-7fca-4fff-baa5-b5a010e5af89 main] metastore.ObjectStore: ObjectStore, initialize called
2018-09-05T11:38:50,717  INFO [826ec55c-7fca-4fff-baa5-b5a010e5af89 main] conf.MetastoreConf: Found configuration file file:/usr/local/apa$
2018-09-05T11:38:50,719  INFO [826ec55c-7fca-4fff-baa5-b5a010e5af89 main] conf.MetastoreConf: Unable to find config file hivemetastore-sit$
2018-09-05T11:38:50,720  INFO [826ec55c-7fca-4fff-baa5-b5a010e5af89 main] conf.MetastoreConf: Found configuration file null
2018-09-05T11:38:50,722  INFO [826ec55c-7fca-4fff-baa5-b5a010e5af89 main] conf.MetastoreConf: Unable to find config file metastore-site.xml
2018-09-05T11:38:50,722  INFO [826ec55c-7fca-4fff-baa5-b5a010e5af89 main] conf.MetastoreConf: Found configuration file null

Hive-site.xml

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:derby:;databaseName=metastore_db;create=true</value>
    <description>
      JDBC connect string for a JDBC metastore.
      To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
      For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
    </description>
  </property>

.profileの環境変数

#Hive
export Hive_HOME=/usr/local/Apache-Hive-3.1.0-bin
export Hive_CONF_DIR=/usr/local/Apache-Hive-3.1.0-bin/conf
export PATH=$Hive_HOME/bin:$PATH
export CLASSPATH=$CLASSPATH:/usr/local/hadoop/lib/*:.
export CLASSPATH=$CLASSPATH:/usr/local/Apache-Hive-3.1.0-bin/lib/*:.

#DERBY
DERBY_HOME=/usr/local/db-derby-10.14.2.0-bin
export PATH=$PATH:$DERBY_HOME/bin
export CLASSPATH=$CLASSPATH:$DERBY_HOME/lib/derby.jar:$DERBY_HOME/lib/derbytool$

エラーメッセージは、Hiveの構成に出くわしなかったmetastore-site.xmlファイルについて示しています。

18.04hadoophive
2
SriniShine

Hiveは現在の作業ディレクトリでDerbyデータベースを見つけることを期待していると思います。 create=trueのjavax.jdo.option.ConnectionURL propertyがHiveによってデータベースが作成されますが、データベースのスキーマは初期化されません。

私の構成：

  • Ubuntu 18.04.1 LTS
  • Hadoop 3.1.1
  • Hive 3.1.0

  • UbuntuリポジトリのApache Derby（バージョン：10.14.1.0-1ubuntu1現在）

    Sudo apt install derby-tools libderby-Java libderbyclient-Java

Hive Documentation に従って、ShemaToolを明示的に実行する必要があります。

DerbyデータベースをHive_HOME（/ opt/Hive-3.1.0-binディレクトリ）に保持することにしました。 Derbyデータベースの場所は、Hive-site.xmlでセットアップできます。

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:derby:/opt/Hive-3.1.0-bin/metastore_db;databaseName=metastore_db;create=true</value>
</property>

Derbyデータベースがまだないことを確認します。

$ ls $Hive_HOME/meta*
ls: cannot access '/opt/Hive-3.1.0-bin/meta*': No such file or directory

ハイブを開始：

$ pwd
/home/hadoop
$ Hive
hive> show tables;
FAILED: HiveException Java.lang.RuntimeException: Unable to instantiate org.Apache.hadoop.Hive.ql.metadata.SessionHiveMetaStoreClient
Hive> exit;

Derbyデータベースを取得しましたが、機能していません。

$ ls -d $Hive_HOME/meta*
/opt/Hive-3.1.0-bin/metastore_db

したがって、metadaスキーマを作成する必要があります。

$ rm -rf $Hive_HOME/metastore_db
$ cd $Hive_HOME
$ schematool -initSchema -dbType derby
...
Initialization script completed
schemaTool completed

現在、Hiveは期待どおりに機能しています。

$ cd
$ Hive
hive> show tables;
OK
Time taken: 0.803 seconds
1
sOliver