The Easiest Way : Experience of Hadoop
Hadoop を最も簡単に体験する方法
[summary] If you want to try Hadoop, one of the easiest way must be to use "Hadoop Live CD" which is a OpenSolaris Project.
ここに、ごくふつーのSONY VAIO PCG-5D1N（法人向けモデル）があります。
OSはWindows XP。外出先でメール読んだり、Web見たり、軽いのでそれなりに使えます。でも、使い方はそれだけ？？
他に有用な使い方は？？
そうですね、OpenSolarisをインストールすることでしょう。でも、会社で使うPCに入れるには、勇気のいる必要も多いかもしれませんね。それに、何故？？OpenSolaris???という疑問を持つ人もいるでしょう。
そうした中、謎のCDが！！このCDを使ってbootしてみることにします。
をををを！！OpenSolarisのCDでした！！このまま、bootを続けてみます。
キーボードの種類を選択するとしばらくして、Gnomeが立ち上がり、OpenSolarisライセンスのwindow があがります。これをcloseすると次に現れるのが・・
Hadoopのライセンス！！
Desktop上の左には、Hadoop Start なるアイコンが！！！これをクリックしてみます。
VAIOのファンがうなりをあげています。なんかいい予感が。7つ道具（？）が入ったUSBメモリを差し込んで、jpsコマンドで調べてみます。（注:default では最小限のツールしか入っていないので、jpsをはじめ幾つかのツールを予め準備しました）
Hadoopが動いています！！zoneadm で調べてみると
つまり、Solaris 上で、３つのzoneでHadoopが動かそう、、というわけです。それでは実際にやってみることとします。
まず、Hadoopのファイルシステムがどうなっているかを見てみます。
ちゃんと動いていることが確認できました。次にローカルファイルを確認します。
このLICENSE.txtを、Hadoop ファイルシステムへコピーしてみます。
1行目：Hadoopファイルシステム上に /in_dir という名称���directoryを作成します。
2行目：ローカルファイルであるLICENSE.txt をHadoopファイルシステム上の /in_dir 下へコピーします。
3行目：コピーされたかどうかを確認します。ファイルは存在しています。
次に、完全にコピーされたかどうか、ファイルを比較してみます。
diff で確認しても差分はありませんでした。
それでは、いよいよ、Hadoop MapReduce のサンプルプログラムを試してみます。ファイルのword数をカウントする、wordcount を動かしてみます。
/in_dir 下のファイルに含まれるwordの出現回数をカウントし、その結果を/out_dir下のファイルに書き出します。うまくいったようです。複数のタスクが稼働しているのが確認できますね。
（注）実行するためにはある程度、メモリが必要です。Gnomeが重いこともあり、メモリが1GBのPCでは、動くかどうか微妙なところです。メモリ不足の場合、上記の処理の途中でフリーズしてしまうこともあります。その場合、OpenSolarisブート時にテキストモードで立ち上げれば大丈夫です。また、ここに到達する前に、Gnomeが立ち上がらずクラッシュする場合も、テキストモードならば、立ち上がる可能性もありますので、やってみてください。
それでは、どんな結果がでているかを確認してみます。
/out_dir ディレクトリ下にpart-00000 が作成されています。この中を調べてみます。word毎に出現回数がちゃんと記録されています。
いかがでしょうか。手元の1GB程度のPCでもちゃんとHadoopを体験することができました。Solarisのzoneならではです。 今回、使った謎のCDの作り方は、Open Solaris Projectのここのサイトを参考に作成してみてください。
