web-dev-qa-db-ja.com

hadoopファイルシステムにディレクトリを作成する

Hadoopは初めてです。 hdfsでディレクトリを作成しようとしていますが、作成できません。

「hduser」にログインしたため、/ home/hduser」がUnix fsとして事前に存在すると想定したため、以下のコマンドを使用してhadoopディレクトリを作成しようとしました。

[hduser@Virus ~]$ hadoop fs -mkdir /home/hduser/mydata/
14/12/03 15:04:53 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-Java classes where applicable
mkdir: `/home/hduser/mydata/': No such file or directory

オンライン検索後、hadoopが「/ home/hduser」を理解できない可能性があるか、hadoop2を使用しているため、mkdirがUnixコマンド「madir -p」のように機能しない（再帰的に）と考えました。したがって、「/ mydata」を作成しようとしましたが、うまくいきませんでした。

[hduser@Virus ~]$ hadoop fs -mkdir /mydata
14/12/03 15:09:26 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-Java classes where applicable
mkdir: Cannot create directory /mydata. Name node is in safe mode.

セーフモードを終了しようとしましたが、まだ問題が解決しません。

[hduser@Virus ~]$ hdfs dfsadmin -safemode leave
14/12/03 15:09:13 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-Java classes where applicable
Safe mode is OFF

「/ user」はhadoopがホームとして使用したディレクトリであるため、「/ user/mydata」でも試しました。

[hduser@Virus ~]$ hadoop fs -mkdir /user/mydata
14/12/03 15:36:20 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-Java classes where applicable
mkdir: Cannot create directory /user/mydata. Name node is in safe mode.

さらにデバッグする方法は？

shellhadoophdfscommand-line-interface
10
virus

Hadoopの新しいディストリビューションではhadoop dfsadmin -safemodeが廃止されているため、セーフモードを終了するには、以下のコマンドを試してください。

 hdfs dfsadmin -safemode leave

デフォルトでは、hdfs内のユーザーのhomeディレクトリは、/ home/hduserではなく、/ user/hduserで存在します。

以下のように直接ディレクトリを作成しようとすると、「/ user/hduser/sampleDir」のように作成されます。

hadoop fs -mkdir /path/to/be/created
7
Sagar Bhalodiya

/ userディレクトリを作成します

hadoop fs -mkdir /user

その後、あなたのユーザー名で

hadoop fs -mkdir /user/yourusername

次に、ディレクトリを作成してみます。

5
Kumar

HDFSでは、

hdfs dfs -mkdir -p /this/is/a/new/directory
4
Giorgos Myrianthous

ディレクトリを一覧表示する

hadoop fs -ls /

出力：

Found 1 items
drwxr-xr-x   - sony supergroup          0 2016-12-10 16:45 /usr

hadood fs -mkdir /app

正常に作成されました

hadoop fs -ls /

出力：

Found 2 items
drwxr-xr-x   - sony supergroup          0 2016-12-12 04:11 /usr
drwxr-xr-x   - sony supergroup          0 2016-12-10 16:45 /app
2
KARTHIKEYAN.A