CentOS5.6にhadoopをインストールする方法

■概要

CentOS5.6にhadoopをインストールして「Local (Standalone) Mode」（スタンドアローンモード）でhadoopを実行してみます

■事前準備

Javaのインストール
http://kakakikikeke.blogspot.com/2012/06/centosjenkinsjavatomcatantgit.html

SSHのインストール
スタンドアローンモードではいらないかもしれません
というかまず入っていないってことはないと思うので気にしないで大丈夫ですw

■インストール

wget http://ftp.meisei-u.ac.jp/mirror/apache/dist/hadoop/common/hadoop-1.0.3/hadoop-1.0.3-1.x86_64.rpm
rpm -ivh hadoop-1.0.3-1.x86_64.rpm
vi /etc/hadoop/hadoop-env.sh

JAVA_HOMEが正しく設定されているか確認する

自分がrpmからインストールしたときは特に依存関係で怒られることはありませんでしたが、もし怒られた場合は必要に応じてインストールしてみてください

■スタンドアローンモードで実行

cp -ip /usr/share/hadoop/hadoop-examples-1.0.3.jar .
mkdir input
cp -ip /etc/hadoop/*.xml input/
emacs /etc/hadoop/hadoop-env.sh

#export HADOOP_CLIENT_OPTS="-Xmx128m $HADOOP_CLIENT_OPTS"
export HADOOP_CLIENT_OPTS="-Xmx1024m $HADOOP_CLIENT_OPTS"
※128MBだとOutOfMemoryErrorになりました
※実際にメモリの空き容量を見ながら実行したところ150MBほど利用していました

hadoop jar hadoop-examples-*.jar grep input output 'map[a-z.]+'

outputフォルダにgrepで出現した行のカウント結果が出力されます

簡単ですが、hadoop単体での動作は以上です
次は本格的な分散処理とJava以外の動作も試してみたいなーと思ってます