web-dev-qa-db-ja.com

JDBCを使用してJavaからHiveに接続

JavaからHiveサーバー1に接続しようとしています。このフォーラムで質問を見つけましたが、うまくいきません。このコードを使用しています。

import Java.sql.SQLException;
import Java.sql.Connection;
import Java.sql.ResultSet;
import Java.sql.Statement;
import Java.sql.DriverManager;

public class HiveJdbcClient {
  private static String driverName = "org.Apache.Hive.jdbc.HiveDriver";

  /**
   * @param args
   * @throws SQLException
   */
  public static void main(String[] args) throws SQLException {
      try {
      Class.forName(driverName);
    } catch (ClassNotFoundException e) {
      // TODO Auto-generated catch block
      e.printStackTrace();
      System.exit(1);
    }
    //replace "Hive" here with the name of the user the queries should run as
    Connection con = DriverManager.getConnection("jdbc:Hive2://localhost:10000/default", "Hive", "");
    Statement stmt = con.createStatement();
    String tableName = "testHiveDriverTable";
    stmt.execute("drop table if exists " + tableName);
    stmt.execute("create table " + tableName + " (key int, value string)");
    // show tables
    String sql = "show tables '" + tableName + "'";
    System.out.println("Running: " + sql);
    ResultSet res = stmt.executeQuery(sql);
    if (res.next()) {
      System.out.println(res.getString(1));
    }
       // describe table
    sql = "describe " + tableName;
    System.out.println("Running: " + sql);
    res = stmt.executeQuery(sql);
    while (res.next()) {
      System.out.println(res.getString(1) + "\t" + res.getString(2));
    }


// load data into table
// NOTE: filepath has to be local to the Hive server
// NOTE: /tmp/a.txt is a ctrl-A separated file with two fields per line
String filepath = "/tmp/a.txt";
sql = "load data local inpath '" + filepath + "' into table " + tableName;
System.out.println("Running: " + sql);
stmt.execute(sql);

// select * query
sql = "select * from " + tableName;
System.out.println("Running: " + sql);
res = stmt.executeQuery(sql);
while (res.next()) {
  System.out.println(String.valueOf(res.getInt(1)) + "\t" + res.getString(2));
}

// regular Hive query
sql = "select count(1) from " + tableName;
System.out.println("Running: " + sql);
res = stmt.executeQuery(sql);
while (res.next()) {
  System.out.println(res.getString(1));
}

これがガイドに示されているコードです。 Hive-metastore、service、jdbc、exec、coreなどの.jarを.Javaの同じパスにコピーしました。コンパイルすると、次のメッセージが表示されます。

Java.lang.ClassNotFoundException: org.Apache.hadoop.Hive.jdbc.HiveDriver
    at Java.net.URLClassLoader$1.run(URLClassLoader.Java:366)
    at Java.net.URLClassLoader$1.run(URLClassLoader.Java:355)
    at Java.security.AccessController.doPrivileged(Native Method)
    at Java.net.URLClassLoader.findClass(URLClassLoader.Java:354)
    at Java.lang.ClassLoader.loadClass(ClassLoader.Java:425)
    at Sun.misc.Launcher$AppClassLoader.loadClass(Launcher.Java:308)
    at Java.lang.ClassLoader.loadClass(ClassLoader.Java:358)
    at Java.lang.Class.forName0(Native Method)
    at Java.lang.Class.forName(Class.Java:190)
    at HiveJdbcClient.main(HiveJdbcClient.Java:14)

誰がここで何が起こっているか知っていますか？

javahadoopjdbchive
22
adrian

試して

_private static String driverName = "org.Apache.Hive.jdbc.HiveDriver"
_

の代わりに

_private static String driverName = "org.Apache.hadoop.Hive.jdbc.HiveDriver";
_

コードにClass.forName(driverName)ステートメントを追加してください。

19
San Krish

あなたの質問で、そのHiveサーバー1を言ったと思います。その場合、ドライバー名と接続文字列は次のようになります。

"org.Apache.hadoop.Hive.jdbc.HiveDriver"

jdbc:Hive://localhost:10000/default", "", "")

Hiveサーバー2を使用している場合、次のようになります。

org.Apache.Hive.jdbc.HiveDriver

jdbc:Hive2://<Host>:<port>/<db>

指定したサンプルと同じサンプルを使用し、pom.xmlで次の依存関係にHiveを接続できます

   <dependency>
        <groupId>org.Apache.Hive</groupId>
        <artifactId>Hive-metastore</artifactId>
        <version>0.12.0-cdh5.0.0</version>
    </dependency>

    <dependency>
        <groupId>org.Apache.Hive</groupId>
        <artifactId>Hive-service</artifactId>
        <version>0.12.0-cdh5.0.0</version>
    </dependency>

    <!-- runtime Hive -->
    <dependency>
        <groupId>org.Apache.Hive</groupId>
        <artifactId>Hive-common</artifactId>
        <version>0.12.0-cdh5.0.0</version>
        <scope>runtime</scope>
    </dependency>

    <dependency>
        <groupId>org.Apache.Hive</groupId>
        <artifactId>Hive-beeline</artifactId>
        <version>0.12.0-cdh5.0.0</version>
        <scope>runtime</scope>
    </dependency>

    <dependency>
        <groupId>org.Apache.Hive</groupId>
        <artifactId>Hive-jdbc</artifactId>
        <version>0.12.0-cdh5.0.0</version>
        <scope>runtime</scope>
    </dependency>

    <dependency>
        <groupId>org.Apache.Hive</groupId>
        <artifactId>Hive-shims</artifactId>
        <version>0.12.0-cdh5.0.0</version>
        <scope>runtime</scope>
    </dependency>

    <dependency>
        <groupId>org.Apache.Hive</groupId>
        <artifactId>Hive-serde</artifactId>
        <version>0.12.0-cdh5.0.0</version>
        <scope>runtime</scope>
    </dependency>
    <dependency>
        <groupId>org.Apache.Hive</groupId>
        <artifactId>Hive-contrib</artifactId>
        <version>0.12.0-cdh5.0.0</version>
        <scope>runtime</scope>
    </dependency>
    <dependency>
12
scalauser

あなたは2つの場所で変更する必要があります

これを使って

private static String driverName = "org.Apache.Hive.jdbc.HiveDriver"

の代わりに

private static String driverName = "org.Apache.hadoop.Hive.jdbc.HiveDriver";

2番目はこれを使用する

jdbc:Hive2://localhost:10000/default", "", ""

の代わりに

jdbc:Hive://localhost:10000/default", "", ""
2
sharafat shaikh