web-dev-qa-db-ja.com

dfs.namenode.servicerpc-addressまたはdfs.namenode.rpc-addressが構成されていません

1つの名前ノードと4つのデータノードでHadoopを構成しようとしていました。 1台のマシンでネームノードとジョブトラッカーを正常に構成し、起動することができました。

しかし、データノードを構成するマシンで、次のことを行いました。

  • hadoop-2.0.0-cdh4.1.2.tar.gzとmr1-2.0.0-mr1-cdh4.1.2.tar.gzをフォルダーに解凍し、マスターとスレーブで構成をセットアップしました。
  • masterファイルで、ネームノードとして構成されたマシンのIPアドレスを設定しました。
  • スレーブマシンで、tarボールを解凍したマシンのIPアドレスを設定しました。

コマンドでデータノードを起動しようとすると

hdfs datanode

このエラーが発生します：

Java.io.IOException: Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured.

私は何をする必要がありますか？

hadoophdfs
11
raghuram gururajan

mastersファイルの名前は誤解を招く恐れがあります。これにはSecondaryNameNodeのアドレスが含まれている必要があり、NameNode自体によって読み取られます。 DataNodeは、mastersファイルとは何の関係もありません。 fs.default.name構成ファイルでcore-site.xmlを構成する必要があります。

表示されるエラーも 誤解を招く であり、間違った構成パラメーターを示しています。

13
omid

これらの手順で問題が解決しました。

  1. export HADOOP_CONF_DIR = "$ HADOOP_HOME/etc/hadoop"
  2. エコー$ HADOOP_CONF_DIR
  3. hdfs namenode -format
  4. hdfs getconf -namenodes
  5. start-dfs.sh

その後、Hadoopを適切に起動できます。

6
Hamdi Charef

名前ノードのhdfs-site.xmlにrpc-addressを追加すると、次のように機能します。

<property>
<name>dfs.namenode.rpc-address</name>
<value>dnsname:port</value>
</property>

コアサイトにもプロパティを追加します

<property> <name>fs.defaultFS</name> <value>dnsname:port</value> </property>

0
SHASHI SHEKHAR Barnwal