MapRをインストールしてみた

Hadoopディストリビューターの一つMapRをインストールして試してみました。
前回はSandBox版を試したのですが、今回は実際に物理サーバーにインストールしてみました。

MapRのエディションは下記3つあります。
・コミュニティ(旧M3)
エンタープライズ(旧M5)
エンタープライズ+DB(旧M7)
各エディションについてはこちらを参照してください。

構成

今回は物理サーバー3台にインストールします。
1台をControll Node、残り2台をData Nodeにします。

各ノードタイプについては下記に記載があります。
Node Types and Associated Services

インストール

参考: Advanced Installation Topics
事前準備(Preparing Each Node)は実施済みとします。 1.リポジトリ登録
下記を/etc/yum.repos.d/maprtech.repoとして登録します。

[maprtech]
name=MapR Technologies
baseurl=http://package.mapr.com/releases/v4.0.1/redhat/
enabled=1
gpgcheck=0
protect=1 

パッケージ確認

$ sudo yum list | grep mapr
mapr-cldb.x86_64                          4.0.1.27334.GA-1              maprtech
mapr-client.x86_64                        4.0.1.27334.GA-1              maprtech
mapr-core.x86_64                          4.0.1.27334.GA-1              maprtech
mapr-core-internal.x86_64                 4.0.1.27334.GA-1              maprtech
mapr-fileserver.x86_64                    4.0.1.27334.GA-1              maprtech
mapr-hadoop-core.x86_64                   2.4.1.27334.GA-1              maprtech
mapr-historyserver.x86_64                 2.4.1.27334.GA-1              maprtech
mapr-jobtracker.x86_64                    4.0.1.27334.GA-1              maprtech
mapr-mapreduce1.x86_64                    0.20.2.27334.GA-1             maprtech
mapr-mapreduce2.x86_64                    2.4.1.27334.GA-1              maprtech
mapr-metrics.x86_64                       4.0.1.27334.GA-1              maprtech
mapr-nfs.x86_64                           4.0.1.27334.GA-1              maprtech
mapr-nodemanager.x86_64                   2.4.1.27334.GA-1              maprtech
mapr-resourcemanager.x86_64               2.4.1.27334.GA-1              maprtech
mapr-single-node.x86_64                   4.0.1.27334.GA-1              maprtech
mapr-tasktracker.x86_64                   4.0.1.27334.GA-1              maprtech
mapr-upgrade.x86_64                       4.0.1.27334.GA-1              maprtech
mapr-webserver.x86_64                     4.0.1.27334.GA-1              maprtech
mapr-zk-internal.x86_64                   4.0.1.27334.GA.v3.4.5-1       maprtech
mapr-zookeeper.x86_64                     4.0.1.27334.GA-1              maprtech

2.各ノードタイプ(Controll NodeやData Node)に必要なサービスのインストール
必要なサービスは下記に記載があります。
Node Types and Associated Services

3.設定投入
インストールが完了したら下記スクリプトで設定を投入します。
/opt/mapr/server/configure.sh

CLDB、Zookeeperのホスト名とデータを格納するディスクを指定します。
各オプションの指定は下記のとおり
 -CがCLDBホスト指定(Controll Node)
 -ZがZookeeperホスト指定(Controll Node)
 -Dがデータを格納するデバイス指定
3台すべてのサーバーで下記を実行します。

$  sudo /opt/mapr/server/configure.sh -C cntest.test.local -Z cntest.test.local -D /dev/sdb
Configuring Hadoop-2.4.1 at /opt/mapr/hadoop/hadoop-2.4.1
Done configuring Hadoop
CLDB node list: cntest.test.local:7222
Zookeeper node list: cntest.test.local:5181
Node setup configuration:  cldb fileserver historyserver metrics nfs resourcemanager webserver zookeeper
Log can be found at:  /opt/mapr/logs/configure.log
/dev/sdb added.
Zookeeper found on this node, and it is not running. Starting Zookeeper
JMX enabled by default
Using config: /opt/mapr/zookeeper/zookeeper-3.4.5/conf/zoo.cfg
Starting zookeeper ... STARTED
Zookeeper respawn not found in inittab. Adding entry.
Creating zookeeper respawn in inittab with ID of "a1"
Warden is not running. Starting mapr-warden. Warden will then start all other configured services on this node
Starting WARDEN, logging to /opt/mapr/logs/warden.log.
.
For diagnostics look at /opt/mapr/logs/ for createsystemvolumes.log, warden.log and configured services log files
Warden respawn not found in inittab. Adding entry.
Creating warden respawn in inittab with ID of "a2"
... Starting cldb
... Starting fileserver
... Starting historyserver
... Starting metrics
... Starting nfs
... Starting resourcemanager
... Starting webserver
To further manage the system, use "maprcli", or connect browser to https://cntest.test.local:8443/
To stop and start this node, use "service mapr-warden stop/start"

これでインストールが完了してサービスも起動しています。

ユーザー”mapr”が存在していないと
No such user mapr. Create the user or use --create-user option
というログが出力されるので作成しましょう。

ライセンス登録

ブラウザから管理コンソールhttps://Controll NodeのIP:8443/にアクセスします。 下記ログイン画面が表示されるので"mapr"ユーザーでログインします。

f:id:kashigeru:20141104223437j:plain

ランセンス同意の画面が出ます。

f:id:kashigeru:20141117225745j:plain

下記画面から"add Licences via web"をクリックします。

f:id:kashigeru:20141117230156j:plain

MapRのページに移動するのでログインします。
M3かM5 Trialが選べるのでM3を選択して登録します。

f:id:kashigeru:20141117230459j:plain

下記の画面になり登録が完了します。View Keyでライセンスキーが表示出来ます。

f:id:kashigeru:20141117230834j:plain

管理コンソールに戻りライセンスを追加します。

f:id:kashigeru:20141117231144j:plain

ライセンス登録が終わったので管理コンソールにログインします。

f:id:kashigeru:20141117231256j:plain

ホストの状態がオレンジ色の場合はCluster→Nodesからサービスを起動すれば緑色になります。
サービスが起動しない場合はログを参照して適宜設定変更してから起動してください。

参考

MapR-FSはポート50070でGUIアクセス出来ないのですが、CLDBのGUIにはアクセス出来ます。
ブラウザからhttp://CLDBのIP:7221/にアクセスします。
ClusterのCapacityとかUsedとかが確認出来ます。

f:id:kashigeru:20141117231708j:plain

FileBrowserはHueをインストールすれば確認出来るので問題ないですね。

各ポート番号は下記に記載されています。
Ports Used by MapR

まとめ

インストールは比較的簡単でした。今回はHA構成にはなってませんが。
管理コンソールは一通りみましたが、ここまで出来るのかという驚きがあります。
用語、概念が理解出来てないと設定するのは難しいかなとは思いました。
今回はここまで(ノ´▽`)ノ{+++THANK YOU+++}ヽ(´▽`ヽ)