web-dev-qa-db-ja.com

Sparkプラットフォームのnative-hadoopライブラリをロードできません

私はUbuntu 16.04のダミーであり、必死にSparkを動作させようとしています。stackoverflowで見つかった回答を使用して問題を解決しようとしましたが、何も解決できませんでした。 sparkコマンド./spark-Shell with binフォルダーからこのメッセージが表示されます

WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-Java classes where applicable".

Javaバージョンは

Java version "1.8.0_101
Java(TM) SE Runtime Environment (build 1.8.0_101-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode).

Sparkは、Hadoop 2を備えた2.0.1の最新バージョンです。 WindowsにSparkをインストールしようとしましたが、Ubuntuでインストールするよりも難しいようです。

また、いくつかのコマンドをSparkラップトップから実行しようとしました。オブジェクトを定義でき、RDDを作成してキャッシュに保存でき、.map()のような関数を使用できます、しかし、関数.reduceByKey()を実行しようとすると、エラーメッセージの文字列がいくつか表示されます。

32ビット用にコンパイルされているのはHadoopライブラリかもしれませんが、64ビットを使用していますか？

ありがとう。

hadoopapache-sparkhadoop2
27
cane_mastino

修正手順：

  • Hadoopバイナリをダウンロード
  • 選択したディレクトリに解凍します
  • セットする HADOOP_HOMEはそのディレクトリを指します。
  • 追加 $HADOOP_HOME/lib/nativeからLD_LIBRARY_PATH。
24
user6022341
  1. Hadoopバイナリ（ link ）をダウンロードしてホームディレクトリに配置します（必要に応じて別のhadoopバージョンを選択し、それに応じて次の手順を変更できます）
  2. 次のコマンドを使用して、ホームディレクトリのフォルダーを解凍します。 tar -zxvf hadoop_file_name
  3. 次に、エクスポートHADOOP_HOME =〜/ hadoop-2.8.0を.bashrcファイルに追加します。新しいターミナルを開き、再試行してください。

ソース： buntuにPySparkをインストール

3
Michael James Kali Galarnyk