Hadoopコマンドリファレンス(HDFS操作)

今回はHDFSを操作する為のHadoopコマンドリファレンスです。

hadoop fsコマンドを使用します。
※資料によってはhadoop dfsという書き方もあるのですが、同等みたいです。

mkdir(ディレクトリ作成)

[hadoop@localhost ~]$ hadoop fs -mkdir sudati

ls/lsr(ファイルやディレクトの一覧表示)

[hadoop@localhost ~]$ hadoop fs -ls
Found 1 items
drwxr-xr-x   - hadoop supergroup          0 2014-03-07 02:46 /user/hadoop/sudati

chmod(アクセス権限変更)

[hadoop@localhost ~]$ hadoop fs -chmod 777 sudati
[hadoop@localhost ~]$ hadoop fs -ls
Found 1 items
drwxrwxrwx   - hadoop supergroup          0 2014-03-07 02:46 /user/hadoop/sudati

chown(所有者/グループ変更)

[hadoop@localhost ~]$ hadoop fs -chown test1:test1 sudati
[hadoop@localhost ~]$ hadoop fs -ls
Found 1 items
drwxrwxrwx   - test1 test1          0 2014-03-07 02:46 /user/hadoop/sudati

rmr(ディレクトリ消去)

[hadoop@localhost ~]$ hadoop fs -rmr sudati
Deleted hdfs://localhost:9000/user/hadoop/sudati

expunge(rmr/rmで消去したディレクトリ/ファイルをゴミ箱から完全消去)

[hadoop@localhost ~]$ hadoop fs -expunge

put(ローカルからHDFSへファイルコピー)

[hadoop@localhost ~]$ hadoop fs -put /tmp/sudati.txt /user/hadoop
[hadoop@localhost ~]$ hadoop fs -ls
Found 1 items
-rw-r--r--   1 hadoop supergroup        629 2014-03-07 04:06 /user/hadoop/sudati.txt

rm(ファイル消去)

[hadoop@localhost ~]$ hadoop fs -rm sudati.txt
Deleted hdfs://localhost:9000/user/hadoop/sudati.txt

以上、基本的な操作コマンドでした。Linuxコマンドとほぼ同じです。

最後にHDFSの状態確認コマンドを書いておきます。

dfsadmin(HDFSの状態確認)

[hadoop@localhost ~]$  hadoop dfsadmin -report
Configured Capacity: 5854007296 (5.45 GB)
Present Capacity: 3972105480 (3.7 GB)
DFS Remaining: 3972063232 (3.7 GB)
DFS Used: 42248 (41.26 KB)
DFS Used%: 0%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 1 (1 total, 0 dead)

Name: 127.0.0.1:50010
Decommission Status : Normal
Configured Capacity: 5854007296 (5.45 GB)
DFS Used: 42248 (41.26 KB)
Non DFS Used: 1881901816 (1.75 GB)
DFS Remaining: 3972063232(3.7 GB)
DFS Used%: 0%
DFS Remaining%: 67.85%
Last contact: Fri Mar 07 04:08:33 JST 2014

こちらは前回のエントリの最後でhadoopを起動してGUIで見た統計情報と同じです。

今日はこれまでWin-Win
(ノ´▽`)ノ{+++THANK YOU+++}ヽ(´▽`ヽ)

Hadoop 第3版

Hadoop 第3版

Hadoop徹底入門 第2版 オープンソース分散処理環境の構築

Hadoop徹底入門 第2版 オープンソース分散処理環境の構築