web-dev-qa-db-ja.com

HDFSからローカルファイルシステムにファイルをコピーする方法

HDFSからローカルファイルシステムにファイルをコピーする方法。ファイルの下にファイルの物理的な場所はなく、ディレクトリもありません。どのように私はそれ以上の検証のために私のローカルにそれらを移動することができますか。

hadoopcopyhdfs
113
Surya
  1. bin/hadoop fs -get /hdfs/source/path /localfs/destination/path
  2. bin/hadoop fs -copyToLocal /hdfs/source/path /localfs/destination/path
  3. WebブラウザでHDFS WEBUI（namenode_machine:50070）に移動し、コピーするファイルを参照してページをスクロールし、ファイルをダウンロードするをクリックします。
212
Tariq

Hadoop 2.0では、

hdfs dfs -copyToLocal <hdfs_input_file_path> <output_path>

どこで、

  • hdfs_input_file_pathはhttp://<<name_node_ip>>:50070/Explorer.htmlから取得できます

  • output_pathは、ファイルのコピー先のファイルのローカルパスです。

  • getの代わりにcopyToLocalを使用することもできます。

19
Ani Menon

HDFSからローカルファイルシステムにファイルをコピーするには、次のコマンドを実行します。

hadoop dfs -copyToLocal <input> <output>

  • <input>：コピーしたいHDFSディレクトリパス（例：/ mydata）
  • <output>：宛先ディレクトリのパス（例：〜/ Documents）
14
Shafiq

あなたはこれら両方の方法で達成することができます。

1.hadoop fs -get <HDFS file path> <Local system directory path>
2.hadoop fs -copyToLocal <HDFS file path> <Local system directory path>

例：

私のファイルはにあります/ sourcedata/mydata.txtこのパスでローカルファイルシステムにファイルをコピーしたい/ user/ravi/mydata

hadoop fs -get /sourcedata/mydata.txt /user/ravi/mydata/
5
Ramineni Ravi Teja

これは私のVMインスタンスのUbuntuでうまくいきました。

hdfs dfs -copyToLocal [hadoopディレクトリ] [ローカルディレクトリ]

1
Zach

ソースの「ファイル」が同じディレクトリツリーにある複数のファイルに（おそらくmap-reduceの結果として）分割されている場合は、それをローカルファイルにコピーできます。

hadoop fs -getmerge /hdfs/source/dir_root/ local/destination
0
Eponymous