Hadoopをインストール_コミュニティ版

タイトルどおり、Hadoopをインストールしてみました。
まとめとして手順を残しておきます。

今回はコミュニティ版です。

どのバージョンを使えばいいのか

いざインストールと思ったのですが、サイトを見ると様々なバージョンがあります。
0.23、1.2、2.0、2.1、2.2、2.3(;´∀`)

今回は1.2.1にしました。
ではCentOS6.4へインストール開始します。

JDKインストール

Javaが必要なのでインストールします。Oracle JDKが推奨のようです。
ここからダウンロード
RPMをダウンロードしてインストールします。

#rpm -ivh jdk-7u51-linux-x64.rpm

#java -version
java version "1.7.0_51"
Java(TM) SE Runtime Environment (build 1.7.0_51-b13)
Java HotSpot(TM) 64-Bit Server VM (build 24.51-b03, mixed mode)

Hadoop用ユーザ作成

# useradd hadoop
# passwd hadoop
# su - hadoop

SSHの設定

HadoopスクリプトSSHで各ノードと通信するので、
パスワードなしでLocalhostSSH出来るように設定する必要があるみたいです。

$ ssh-keygen -t dsa
Generating public/private dsa key pair.
Enter file in which to save the key (/home/hadoop/.ssh/id_dsa):
Enter passphrase (empty for no passphrase):    ←なにも入力せずEnter
Enter same passphrase again:           ←なにも入力せずEnter
Your identification has been saved in /home/hadoop/.ssh/id_dsa.
Your public key has been saved in /home/hadoop/.ssh/id_dsa.pub.

鍵確認

$ ls -l ~/.ssh/
-rw-------. 1 hadoop hadoop 668  3月  6 23:18 2014 id_dsa
-rw-r--r--. 1 hadoop hadoop 618  3月  6 23:18 2014 id_dsa.pub

~/.ssh/authorized_keysに公開鍵を追加し、
自分以外が読み書き出来ないように権限設定

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
$ chmod 600 ~/.ssh/authorized_keys

Localhostにパスワードなしでログイン出来るか確認

ssh localhost
Last login: Thu Mar  6 23:16:52 2014 from 192.168.0.6

Hadoopインストール

ここからダウンロード
hadoop-1.2.1.tar.gzをダウンロードしてインストールします。

# tar zxvf hadoop-1.2.1.tar.gz
# mv /hadoop-1.2.1 /usr/local/
# chown -R hadoop:hadoop /usr/local/t/hadoop-1.2.1/

JavaHadoopにPATHを通す

# su - hadoop
$ vim ~/.bash_profile
下記を追加  
export JAVA_HOME=/usr/java/jdk1.7.0_51  
export HADOOP_INSTALL=/usr/local/hadoop-1.2.1  
export PATH=$HADOOP_INSTALL/bin:$JAVA_HOME/bin:$PATH  
設定反映
source ~/.bash_profile
設定確認
echo $PATH
下記2つがあること
/usr/local/hadoop-1.2.1/bin:/usr/java/jdk1.7.0_51/bin

バージョン確認

$ java -version
java version "1.7.0_51"
Java(TM) SE Runtime Environment (build 1.7.0_51-b13)
Java HotSpot(TM) 64-Bit Server VM (build 24.51-b03, mixed mode)

$ hadoop version
Hadoop 1.2.1
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152
Compiled by mattf on Mon Jul 22 15:23:09 PDT 2013
From source with checksum 6923c86528809c4e7e6f493b6b413a9a
This command was run using /usr/local/hadoop-1.2.1/hadoop-core-1.2.1.jar

インストールはこれで完了しました。
次回から色々設定を見ていきたいと思います。
(ノ´▽`)ノ{+++THANK YOU+++}ヽ(´▽`ヽ)

Hadoop徹底入門 第2版 オープンソース分散処理環境の構築

Hadoop徹底入門 第2版 オープンソース分散処理環境の構築

Hadoop 第3版

Hadoop 第3版