Hadoopをインストール_Cloudera Manager版
今回はCloudera Managerで手軽にインストールします。
コミュニティ版のインストール手順はこちら
Cloudera Manager Serverのインストール
構成は下記のとおり
Cloudera Manager Server 1台
Cloudera Manager Agent 20台
まずはCloudera Manager Serverをインストールします。
(Clondera Manager Serverにする1台にだけ)
”cloudera-manager-installer.bin”をここからダウンロードします。
(ダウンロードするためにユーザー登録が必要)
落としてきた”cloudera-manager-installer.bin”を実行します。
# ./cloudera-manager-installer.bin
Nextを選択
ライセンス規約 Nextを選択
ライセンスに同意 yesを選択
Oracle ライセンス規約 Nextを選択
ライセンスに同意 yesを選択
インストールが始まります JDKから
Clondera Manager Serverのインストール
組み込みDB(PostgreSQL)のインストール
インストール完了
GUIにアクセス(http://xx.xx.xx.xx:7180)しadmin:adminでログインします
各ノードにCDHのインストール
Clondera Expressを選択し続行
続行
検索するホストを入力し検索
パターンを使用します xx.xx.xx.[xx-xx]とか
20台見つかりました
※実際はCloudera Manager Serverも入れて21台で行いました
今回はParcel、CDH4.6、IMPALAを選択し続行
各ノードにログイン出来るユーザーを設定し続行
インストール開始
インストール完了
CDHとIMPALAをダウンロードして配布します
※CDHの配布中に何回かエラーが出ましたが無事に終了しました
各ノードの正常性をチェックしてくれます。 エラーが出たら設定しなおして検査を再実行します
すべてOKであれば完了
展開するサービスのインストール
CDHの中で展開するサービスを選択し続行
今回は”リアルタイムクエリがあるコア”を選択しました
各役割を割り当て続行
※21台で行った理由はManager ServerにCloudera Management Serviceを割り当てるためです。 当初はAgentの1台にCloudera Management Serviceを割り当てたのですがメモリ不足になったため。
Active Monitor(Manager Serverが割り当ててある)のDBをチェックします
今回は組み込みDB(PostgreSQL)を使用しました
Successfullなので続行
各設定を入れて続行
各サービスが開始されます
インストール完了
まとめ
本当に手軽にインストールが出来ます。
なんといっても各サービスの再起動が楽すぎる。
ただインストールを始めたら最後までやりきれる時間があるときにやりましょう。
下記のような事になりますよw
再ログインするとTOP画面なのでインストールの続行方法がわからない
→やり直そうとしてホストを削除しても消えない
→そしてエラー画面連発
uninstallしてやり直しましたw
あとすんなりサービスが動いてるように見えますが、インストール直後はかなりチェックに引っかかりますので。それはまた後日書きます。
(ノ´▽`)ノ{+++THANK YOU+++}ヽ(´▽`ヽ)