Hadoopをインストール_CDH5版

今回は検証環境用にCDH5をインストールしてみます。
JAVAのインストール等の事前準備は完了してます。
事前準備はこちらを参照してください。

インストール

インストールガイドはこちら

まずはレポジトリを登録します。

# vim /etc/yum.repos.d/cloudera-cdh5.repo

[cloudera-cdh5]
# Packages for Cloudera's Distribution for Hadoop, Version 5, on RedHat or CentOS 6 x86_64
name=Cloudera's Distribution for Hadoop, Version 5
baseurl=http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5/
gpgkey = http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera
gpgcheck = 1

パッケージ確認

# yum search hadoop

cloudera-cdh5                                                                                                        |  951 B     00:00
cloudera-cdh5/primary                                                                                                |  41 kB     00:00
cloudera-cdh5  140/140
================== N/S Matched: hadoop ===============
hadoop.x86_64
hadoop-0.20-conf-pseudo.x86_64 
hadoop-0.20-mapreduce.x86_64 
hadoop-0.20-mapreduce-jobtracker.x86_64 
hadoop-0.20-mapreduce-jobtrackerha.x86_64 
hadoop-0.20-mapreduce-tasktracker.x86_64 
hadoop-0.20-mapreduce-zkfc.x86_64 
hadoop-client.x86_64
hadoop-conf-pseudo.x86_64 
hadoop-debuginfo.x86_64 
hadoop-doc.x86_64 
hadoop-hdfs.x86_64 
hadoop-hdfs-datanode.x86_64
hadoop-hdfs-journalnode.x86_64 
hadoop-hdfs-namenode.x86_64 
hadoop-hdfs-nfs3.x86_64 
hadoop-hdfs-secondarynamenode.x86_64 
hadoop-hdfs-zkfc.x86_64 
hadoop-httpfs.x86_64 
hadoop-libhdfs.x86_64 
hadoop-mapreduce.x86_64 
hadoop-yarn.x86_64 
flume-ng.noarch 
hadoop-hdfs-fuse.x86_64 
hadoop-libhdfs-devel.x86_64 
hadoop-mapreduce-historyserver.x86_64 
hadoop-yarn-nodemanager.x86_64 
hadoop-yarn-proxyserver.x86_64 
hadoop-yarn-resourcemanager.x86_64 
hbase.x86_64 
hbase-master.x86_64
hbase-regionserver.x86_64 
hbase-thrift.x86_64 
hive.noarch
hive-hcatalog.noarch 
hive-webhcat.noarch
hue-common.x86_64 
hue-plugins.x86_64 
impala.x86_64
oozie.noarch
parquet.noarch
pig-udf-datafu.noarch
sqoop.noarch
sqoop2.noarch 
zookeeper-server.x86_64

擬似分散モードのインストール

pseudoをインストールするのですが、2つある。
hadoop-0.20-conf-pseudo.x86_64
hadoop-conf-pseudo.x86_64
0.20の方はMRv1環境です。

今回はYarnで。

# yum install hadoop-conf-pseudo.x86_64

インストールリスト

# yum list installed | grep hadoop
hadoop.x86_64        2.3.0+cdh5.0.1+567-1.cdh5.0.1.p0.46.el6
hadoop-conf-pseudo.x86_64
hadoop-hdfs.x86_64   2.3.0+cdh5.0.1+567-1.cdh5.0.1.p0.46.el6
hadoop-hdfs-datanode.x86_64
hadoop-hdfs-namenode.x86_64
hadoop-hdfs-secondarynamenode.x86_64
hadoop-mapreduce.x86_64
hadoop-mapreduce-historyserver.x86_64
hadoop-yarn.x86_64   2.3.0+cdh5.0.1+567-1.cdh5.0.1.p0.46.el6
hadoop-yarn-nodemanager.x86_64
hadoop-yarn-resourcemanager.x86_64

設定ファイルは何も変更する必要はないみたいなので起動します。

HDFSフォーマット

ユーザー:hdfsはインストール時に作成されます。

# sudo -u hdfs hdfs namenode -format

HDFS起動

Namenode

# service hadoop-hdfs-namenode start
Starting Hadoop namenode:                                  [  OK  ]
starting namenode, logging to /var/log/hadoop-hdfs/hadoop-hdfs-namenode-localhost.localdomain.out

Datanode

# service hadoop-hdfs-datanode start
Starting Hadoop datanode:                                  [  OK  ]
starting datanode, logging to /var/log/hadoop-hdfs/hadoop-hdfs-datanode-localhost.localdomain.out

ブラウザで起動確認

HDFSの状態確認
http://NamenodeのIP:50070

f:id:kashigeru:20140611232421j:plain

えw
UIが全然違う。なんか洗練されてる。

YARN起動

Resourcemanager

# service hadoop-yarn-resourcemanager start
Starting Hadoop resourcemanager:                           [  OK  ]
starting resourcemanager, logging to /var/log/hadoop-yarn/yarn-yarn-resourcemanager-localhost.localdomain.out

Nodemanager

# service hadoop-yarn-nodemanager start
Starting Hadoop nodemanager:                               [  OK  ]
starting nodemanager, logging to /var/log/hadoop-yarn/yarn-yarn-nodemanager-localhost.localdomain.out

Historyserver

# service hadoop-mapreduce-historyserver start
Starting Hadoop historyserver:                             [  OK  ]
starting historyserver, logging to /var/log/hadoop-mapreduce/mapred-mapred-historyserver-localhost.localdomain.out

ブラウザで起動確認

Resourcemanager
http://ResourcemanagerのIP:8088

f:id:kashigeru:20140611233910j:plain

Nodemanager
http://ResourcemanagerのIP:8042

f:id:kashigeru:20140611234045j:plain

とりあえずインストールは完了。 これから色々と検証していきます。
(ノ´▽`)ノ{+++THANK YOU+++}ヽ(´▽`ヽ)

Hadoop徹底入門 第2版

Hadoop徹底入門 第2版

広告を非表示にする