web-dev-qa-db-ja.com

OSX上のHadoop「SCDynamicStoreからレルム情報をロードできません」

OSX 10.7でHadoopを起動すると、次のエラーが表示されます。

SCDynamicStore putからレルム情報をロードできません:org.Apache.hadoop.hdfs.server.namenode.SafeModeException:ディレクトリー/ user/travis/input/confを作成できません。名前ノードはセーフモードです。

Hadoopの機能に問題を引き起こしていないようです。

57
Travis Nelson

HADOOP-7489でのMatthew Buckettの提案は、私にとってはうまくいきました。以下をhadoop-env.shファイルに追加します。

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"
76
Jeromy Carriere

これへの更新として(およびアドレス David Williams 'についてJava 1.7)を指摘し、.realmおよび.kdcプロパティは、問題のメッセージを停止するには不十分でした。

ただし、メッセージを省略している ソースファイル を調べることで、.krb5.confプロパティから/dev/nullはメッセージを抑制するのに十分でした。明らかに、実際にkrb5構成を使用している場合は、実際のパスを指定することをお勧めします。

合計で、私のhadoop-env.shスニペットは次のとおりです。

HADOOP_OPTS="${HADOOP_OPTS} -Djava.security.krb5.realm= -Djava.security.krb5.kdc="
HADOOP_OPTS="${HADOOP_OPTS} -Djava.security.krb5.conf=/dev/null"
39

OS X 10.8.2、Javaバージョン1.7.0_21で同じ問題が発生しています。残念ながら、上記の解決策はこのバージョンの問題を解決しません:(

編集:私が見たヒントに基づいて、これに対する解決策を見つけました here 。の中に hadoop-env.shファイル、Java_HOME設定:

export Java_HOME=`/usr/libexec/Java_home -v 1.6`

(ここで墓の引用に注意してください。)

16
user411279

参考までに、以下を指定するだけでこれをさらに簡素化できます。

export HADOOP_OPTS="-Djava.security.krb5.realm= -Djava.security.krb5.kdc="

これはHADOOP-7489にも記載されています。

13
btiernay

MacOSでも同様の問題があり、さまざまな組み合わせを試した後、これが普遍的に機能しました(Hadoop 1.2と2.2の両方):

$HADOOP_HOME/conf/hadoop-env.sh次の行を設定します。

# Set Hadoop-specific environment variables here.
export HADOOP_OPTS="-Djava.security.krb5.realm= -Djava.security.krb5.kdc="

# The Java implementation to use.
export Java_HOME=`/usr/libexec/Java_home -v 1.6`

これが役立つことを願って

5
Vladimir Kroz

また、追加します

YARN_OPTS="$YARN_OPTS -Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

cdh4.1.3でstart-yarn.sh(またはstart-all.sh)を実行する前

4
KaKa

EclipseからMapReduceをデバッグするときにこのエラーが発生しましたが、それはニシンです。本当の問題は、デバッグパラメータをJava_OPTSに追加して、リモートデバッグを行うべきだったことです。

-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=1044

そして、ポート1044を指すデバッグ構成で新しい「Remote Java Application」プロファイルを作成します。

この記事 には、デバッグの側面に関する詳細な情報があります。 Solrについて話していますが、Hadoopでもほぼ同じように機能します。問題がある場合は、下にメッセージを貼り付けてください。

2
JnBrymn