Takafumi Yonekura's Weblog

Takafumi Yonekura's Weblog
Please Use Unicode (UTF-8)!!

All | General | Japanese

Sunday October 17, 2004

Grid no Source ha akita kamo
まだ前回から一ヶ月もたっていませんので、ちょっとした進歩です。
このまま周期を短くしていけるようがんばります。

じつのところ、個人的にはまた別にblogを持っているので、こちらに書くのは仕事に関連するものにしようと思っていましたが、Grid のSource を読むのは時間がかかるので、普通の話題も書いてみます。

コンテンツの質や体裁よりも、トップページに日本語ページが載っていることのほうが大事かと。

さて、先日 GREE とやらに参加してみました。まったく興味なかったのですが、これは面白いですね。GREE自身のコンテンツはほとんどなくて、あるのは人と人とのつながりだけ。この紹介制度をサーバー販売にいかせないものか、なんてつまんないことをつい考えてしまいます。

「このサーバーを紹介する」 submit

(2004-10-17 21:57:40.0) Permalink

Tuesday September 21, 2004

Grid no Source wo Yomuno?

あれからまた50日ですね。Grid Engineの世界では6.0のupdate1が登場しました。

ソースを読むのもいいですが、やっぱり使いこなさないとなかなか内部動作はわかりませんね。ソースを読むことで理解を深めることもできますので、にわとりたまご、というよりも相互補完、といったほうがよいのかな？

Grid Engineにはユーザーがジョブを投入するためのコマンドがあります。 queue に　submitするのでqsub , queueにloginしたければqlogin などです。これらは基本的に1ファイルなので、オプションの扱いとか、その辺を学んでいくのはいきなりデーモンの動作をさぐるよりとっつきやすいかも、と思い始めました。

blogs.sun.comのTop Pageに目を移すと、社長のブログが普通のブログと競い合っています。彼はブログとか好きそうですね。

やはり世界中の人が見るページに日本語で投稿するのは（私も含めて）若干の抵抗があるようで、日本語ブログはなかなか広まりをみせません。少しさびしい気もします。「英語で世界中の人が興味を引く内容をかけなければ世界では戦えないっ」と思いつつも、日本語で日本人の興味を引くことすら難しい今日この頃です。というか、継続性なさすぎですね。反省反省。

(2004-09-21 03:11:32.0) Permalink

Monday August 16, 2004

Read Grid Engine Source 3

いやはや、簡単に50日もたってしまいました。人間の惰性って恐ろしいですね。
オリンピックのせいにしてばかりもいられませんので書かなければなりません。

実際問題として、Grid EngineのSourceを読みたいと思う日本人の方が
奇跡的にこのページをみる可能性は0に近いと思いますが、わが道をゆきましょう。

ほんとはちょこちょことsourceを読み出しているのですが、さすがにversion 6ともなると
なかなか複雑です。Multi-Thread対応までしようとしているので、変なところで
難しくなります。Version 1.0のsourceが読みたい今日この頃です。

もっとも、Open Sourceになったのは5.2からですが。

と、いろいろと言い訳を書きたてたところで、今日は便利なツールの紹介です。

globalというC言語 Sourceの cross referenceを作成するツールです。
GNUのツールなのでどなたでも使えます。(もちろん私はSparc/Solarisで使っています。）
viやemacsに組み込んで利用することもできますが、私はHTML書き出し機能を
利用して Sun Blade 100にWeb Serverをたて、ブラウザで見られるようにしています

かなり .hファイルを活用してファイル名やメッセージなどを外だししているので、
こういったツールですぐにdefine文を探せるようにしておかないととても苦労します。

今日もまたなにもすすみませんでした。次は Sun グッズに戻ろうかな、と弱気な今日この頃です。

(2004-08-16 19:02:08.0) Permalink

Thursday July 01, 2004

Read Grid Engine Source 2

新年度、あけましておめでとうございます。
Sunは7月始まりの会社でして、7月1日からは、FY05となります。
まだオリンピックも始まっていないのに、2005年といわれてもぴんと来ませんが。

さて、今年度はもう少し計画的に、なおかつ質の高い記事を書きたいと思っています。
毎週一回くらいが適度でしょうね。とはいえ今日のところは先日の続きを。

3. Grid Engineって、どんなことをするの？

先日の説明だけでは「Gridソフトっていうだけで、なにをするのかさっぱりわからん」
という方がほとんどだと思います。そこで、Grid Engineがなにをするのか、
乱暴なまでに単純化して説明してみます。

Grid Engineとは、

・ユーザーが実行したいジョブ（script）を各自のホスト(submit host)からマスターホスト（qmaster)に
　実行依頼を行う（submitする）

・マスターホストが空いている実行ホスト(exec host)に対して、そのジョブを投げる。

・実行ホストは受け取ったジョブを実行し、結果をマスターに返す

・マスターは結果をユーザに返す。

ということをします。shell scriptのディスパッチャーなの？という質問に対しては、
「まあ、簡単に言えばそうなります」ということです。もちろん、いろいろと
難しいことができるわけですが。

さて、ここで出てきた登場人物を整理すると
・submit host          : ユーザのマシン
・master host(qmaster) : ボス
・exec host            : 働きアリ

さらに、「空いている実行ホスト」を選んでボスに報告する秘書として、schedulerがいます。
submit / qmaster / exec / scheduler の4種類がおもな登場人物です。


4. Grid Engine 6のソースを読む際の注意点

sourceディレクトリのあちこちに .html というファイルがあります。
その多くはソースの解読の助けになってくれるファイルです。

たとえば、Grid Engineで処理の中心となるqmasterのソースは、/source/daemon/qmaster ディレクトリに
おいてあり、qmaster.htmlにqmasterの説明があります。

ただし、このファイルはまだver 5.3のころから更新してないので、整合性がとられていない部分が
あります。（たとえば、qmaster.htmlにでてくるqmaster.c はGrid Engine 6には存在しません！）

さて、今日はこの辺で。次こそは実際に読んでみたいと思います。

(2004-07-01 22:03:11.0) Permalink

Friday June 25, 2004

Read Grid Engine Source

ボーっとしている間に一週間以上ご無沙汰してしまいました。
やっぱりSunグッズを紹介しているほうがラクですね。

今回から Grid Engineのソースを読んでみます。

今日はその準備です。

0. Grid Engineとは？

Grid Engineは、Open Sourceで開発されている Gridソフトウェアです。
GridソフトというとGlobusが有名ですが、Globusはどちらかというと
「世界中のコンピュータをつなごう！」的な技術であるのに対して、
Grid Engineは分散リソースマネージメントソフト、ということで、
ある企業、団体の中のシステムを有効に利用する、といった目的の
ソフトウェアで、EDAやHPCの分野ですでに実ビジネスで利用されています。
Globusと組み合わせることで、大規模Grid環境を実現する
ことも可能です。SunはGrid Engineの開発の中心的な役割を担うのと
同時に、機能を行った製品版ソフトウェア N1 Grid Engineを販売しています。

今回は Grid Engineのソースを読み進めてみようと思います。
が、私のプログラミング能力は素人レベルなので、
すぐ挫折するかもしれません、。

1. ソースを手に入れる

http://gridengine.sunsource.net/は、
Grid Engineの開発サイトです。ここで左のリストからDownload Sourceを
選択して、次の画面でさらにDownloadをクリックすると、いくつかファイルが
並んでいます。sge-V60_TAG-src.tar.gz　がお目当てのファイルです。
ダウンロードして解凍しましょう。

2. 読んでみる

sourceディレクトリにソースはたくさんあるのですが、どれから読んでいいのか
わかりません。とりあえず source.htmlを読みましょう。

一気に進むと疲れる（ネタが無くなる）ので今日はここまで。
次回は主要コンポーネントについて見てみます。

(2004-06-25 01:44:20.0) Permalink