web-dev-qa-db-ja.com

HDFSはデフォルトでファイルをローカルに保存しますか？

1ノードのクラスターでデフォルト設定でhadoopを実行していますが、HDFSがファイルをローカルに保存する場所を見つけたいと考えています。

何か案は？

ありがとう。

hadoophdfs
35
crypto5

hdfs-default.xml構成ファイルでdfs.data.dir設定。デフォルト設定は$ {hadoop.tmp.dir}/dfs/dataであり、$ {hadoop.tmp.dir}は実際にはcore-default.xmlの説明 ここ 。

設定オプションは ここ で説明されています。この設定の説明は次のとおりです。

ローカルファイルシステム上のDFSデータノードがブロックを格納する場所を決定します。これがディレクトリのカンマ区切りのリストである場合、データはすべての名前付きディレクトリに、通常は異なるデバイスに格納されます。存在しないディレクトリは無視されます。

29
Binary Nerd

現在のバージョン（2.7.1）の場合、ディレクトリは

/tmp/hadoop-${user.name}/dfs/data

に基づく dfs.datanode.data.dir、hadoop.tmp.dir設定： http://hadoop.Apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xmlhttp：/ /hadoop.Apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/core-default.xml

15
MaxNevermind

「より最近の答え」として、そしてhadoopのバージョン番号を明確にするために：

Hadoop 1.2.1（または類似の何か）を使用する場合、@ Binary Nerdの答えは依然として当てはまります。

しかし、Hadoop 2.1.0-beta（または類似の何か）を使用する場合は、設定ドキュメント here と設定するオプションは次のとおりです：dfs.datanode.data.dir

14
contradictioned

Hadoop 3.0.0の場合、hdfsルートパスは、プロパティ"dfs.datanode.data.dir"

0
Binita Bharati