Hadoopをインストール_コミュニティ版_擬似分散モード設定編

前回のエントリでインストールは完了したので
今回は設定して起動してみます。

1台でHDFSのNamenode/DatanodeとMapReduceのJobTracker/TaskTrackerを動かす
擬似分散モードで起動させます。

設定

下記4ファイルを設定します。
/usr/local/hadoop-1.2.1/conf/core-site.xml
/usr/local/hadoop-1.2.1/conf/hdfs-site.xml
/usr/local/hadoop-1.2.1/conf/mapred-site.xml
/usr/local/hadoop-1.2.1/conf/hadoop-env.sh

core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
  <property>
      <name>fs.default.name</name>
      <value>hdfs://localhost:9000</value>
  </property>
</configuration>

hdfs-site.xml

レプリケーション数を1に設定

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
  <property>
      <name>dfs.replication</name>
      <value>1</value>
  </property>
</configuration>

mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
  <property>
      <name>mapred.job.tracker</name>
      <value>localhost:9001</value>
      </property>
</configuration>

hadoop-env.sh

# export JAVA_HOME=/usr/lib/j2sdk1.5-sun
export JAVA_HOME=//usr/java/jdk1.7.0_51

インストールしたJAVA_HOMEの指定
これが間違っていると起動時に下記エラーが出て起動しない

starting namenode, logging to /usr/local/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-namenode-localhost.localdomain.out
localhost: starting datanode, logging to /usr/local/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-datanode-localhost.localdomain.out
localhost: Error: JAVA_HOME is not set.
localhost: starting secondarynamenode, logging to /usr/local/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-secondarynamenode-localhost.localdomain.out
localhost: Error: JAVA_HOME is not set.

設定がすべて完了したら起動します。

起動

$ /usr/local/hadoop-1.2.1/bin/start-all.sh
namenode running as process 2333. Stop it first.
localhost: starting datanode, logging to /usr/local/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-datanode-localhost.localdomain.out
localhost: starting secondarynamenode, logging to /usr/local/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-secondarynamenode-localhost.localdomain.out
starting jobtracker, logging to /usr/local/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-jobtracker-localhost.localdomain.out
localhost: starting tasktracker, logging to /usr/local/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-tasktracker-localhost.localdomain.out

起動しているか確認

$ jps
3148 Jps
3033 TaskTracker
2732 DataNode
2851 SecondaryNameNode
2925 JobTracker
2333 NameNode

ブラウザで確認

HDFSの状態確認
http://NamenodeのIP:50070

f:id:kashigeru:20140310234312j:plain

ConfiguredCapacityがHDFSで利用できるサイズ
擬似分散モード設定なのでLiveNodeは1

MapReduceの状態確認
http://JobTrackerのIP:50030

f:id:kashigeru:20140310234526j:plain

擬似分散モード設定なのでNodeは1

今回はこれにて。
(ノ´▽`)ノ{+++THANK YOU+++}ヽ(´▽`ヽ)

Hadoop 第3版

Hadoop 第3版

Hadoop徹底入門 第2版 オープンソース分散処理環境の構築

Hadoop徹底入門 第2版 オープンソース分散処理環境の構築