Hadoopをインストール_Cloudera Manager版

今回はCloudera Managerで手軽にインストールします。
コミュニティ版のインストール手順はこちら

Cloudera Manager Serverのインストール

構成は下記のとおり
Cloudera Manager Server 1台
Cloudera Manager Agent 20台

f:id:kashigeru:20140513221159j:plain

まずはCloudera Manager Serverをインストールします。
(Clondera Manager Serverにする1台にだけ)
”cloudera-manager-installer.bin”ここからダウンロードします。
(ダウンロードするためにユーザー登録が必要)

落としてきた”cloudera-manager-installer.bin”を実行します。

# ./cloudera-manager-installer.bin

Nextを選択

f:id:kashigeru:20140513223431j:plain

ライセンス規約 Nextを選択

f:id:kashigeru:20140513223448j:plain

ライセンスに同意 yesを選択

f:id:kashigeru:20140513223458j:plain

Oracle ライセンス規約 Nextを選択

f:id:kashigeru:20140513223512j:plain

ライセンスに同意 yesを選択

f:id:kashigeru:20140513223527j:plain

インストールが始まります JDKから

f:id:kashigeru:20140513223601j:plain

Clondera Manager Serverのインストール

f:id:kashigeru:20140513223613j:plain

組み込みDB(PostgreSQL)のインストール

f:id:kashigeru:20140513223622j:plain

インストール完了

f:id:kashigeru:20140513223631j:plain

GUIにアクセス(http://xx.xx.xx.xx:7180)しadmin:adminでログインします

f:id:kashigeru:20140513223712j:plain

各ノードにCDHのインストール

Clondera Expressを選択し続行

f:id:kashigeru:20140513223915j:plain

続行

f:id:kashigeru:20140513224110j:plain

検索するホストを入力し検索
パターンを使用します xx.xx.xx.[xx-xx]とか

f:id:kashigeru:20140513224124j:plain

20台見つかりました

f:id:kashigeru:20140513224445j:plain

※実際はCloudera Manager Serverも入れて21台で行いました

今回はParcel、CDH4.6、IMPALAを選択し続行

f:id:kashigeru:20140513224926j:plain

各ノードにログイン出来るユーザーを設定し続行

f:id:kashigeru:20140513225202j:plain

インストール開始

f:id:kashigeru:20140513225244j:plain

インストール完了

f:id:kashigeru:20140513225508j:plain

CDHとIMPALAをダウンロードして配布します

f:id:kashigeru:20140513225536j:plain

※CDHの配布中に何回かエラーが出ましたが無事に終了しました

各ノードの正常性をチェックしてくれます。 エラーが出たら設定しなおして検査を再実行します

f:id:kashigeru:20140513225722j:plain

すべてOKであれば完了

展開するサービスのインストール

CDHの中で展開するサービスを選択し続行
今回は”リアルタイムクエリがあるコア”を選択しました

f:id:kashigeru:20140513230204j:plain

各役割を割り当て続行
※21台で行った理由はManager ServerにCloudera Management Serviceを割り当てるためです。 当初はAgentの1台にCloudera Management Serviceを割り当てたのですがメモリ不足になったため。

f:id:kashigeru:20140513230326j:plain

Active Monitor(Manager Serverが割り当ててある)のDBをチェックします
今回は組み込みDB(PostgreSQL)を使用しました
Successfullなので続行

f:id:kashigeru:20140513230918j:plain

各設定を入れて続行

f:id:kashigeru:20140513231346j:plain

各サービスが開始されます

f:id:kashigeru:20140513231526j:plain

インストール完了

f:id:kashigeru:20140513231643j:plain

まとめ

本当に手軽にインストールが出来ます。
なんといっても各サービスの再起動が楽すぎる。

ただインストールを始めたら最後までやりきれる時間があるときにやりましょう。
下記のような事になりますよw
再ログインするとTOP画面なのでインストールの続行方法がわからない
→やり直そうとしてホストを削除しても消えない
  →そしてエラー画面連発
uninstallしてやり直しましたw

あとすんなりサービスが動いてるように見えますが、インストール直後はかなりチェックに引っかかりますので。それはまた後日書きます。
(ノ´▽`)ノ{+++THANK YOU+++}ヽ(´▽`ヽ)