Evolution From Analog Identity to Federated Services.: Takashi Shitamichi's Weblog / 下道高志のブログ

 Sun Cloud とOpen Cloud Platform - ディベロッパ、そして企業のためのクラウド・コンピューティング

[summary] Sun's cloud strategy is for both developers and entperprise. To support them, Sun WILL provide products, technology, services and  experience. 

(Translate to English)

2月以降、私はSunの中での横断的なクラウド・アーキテクチャ・グループの一員として、様々な社内のエンジニアや、時にはお客様とディスカッションし、時には徹夜でマシンの中に埋もれながらテストと評価を繰り返してきました。

クラウドに対する世の中の期待と注目は、私の当初の想像をはるかに超えたものであり、毎日毎日が刺激的な日々となっています。

 報告が遅れましたが、3月18日には満を期して、"Sun Cloud"の発表をし、Sunが正式にpublic cloud を始める、との宣言をCommunity One Eastにて行いました。日本語ではプレスリリースがでていますので、是非、こちらをご覧下さい。

 さて、本日はNehalemことXeon 5500を搭載した新サーバを発表しました

インテル(R) Xeon(R) プロセッサー5500番台を搭載する新製品群を発表

このマシン、ただもんじゃないです。Hadoopのsample をいくつか動かしてみましたが、非常にいい値を出しました。詳細はこちらのページからご覧下さい。クラウドにも最適な一台ともいえるでしょう。

今後のクラウド・アーキテクチャでは、コア数、H/Wスレッド数、仮想ノード／物理ノード数、遅延、電力消費量、SSD、iSCSI・・・・技術を含む様々な要素の組み合わせの異なる特徴を持つクラウドが作られていくような気がします。決して”コモディティ・サーバ”で構築するのがクラウドではありません。

Project KenaiのAPIとか、Virtual Datacenter とか、 今後のロードマップとか、これから順にご紹介していくことにします。

Sun Storage 7110 が 星6つを受賞！「最高のNAS」 by "PC Pro"

[summary] Sun Storage 7110 Unified Storage System got 6 stars from PC Pro. The usual scale was upto 5 stars, though!

(Translate to English)

イギリスの"PC Pro"誌にて、Sun Storage 7110 が 星6つをもらいました（去る1月9日のことです）。通常は星は5つまでです。要点としては、OpenSolaris が稼働するStorage Applianceで、CIFS, NFS, HTTP, FTP, NDMP , iSCSI といったものをサポートし、NAS としてIP SANとしてフル機能を享受できる。また、 Solarisの特徴の一つであるZFSによる、ハイブリッド・プールだとか、DTrace。その結果、高速性・信頼性の恩恵を受けられ、さらには5分でインストール可能・・・・等々ベタ誉め状態です。

ちなみに、日本語の製品ページでは、用途として以下があげられています。

クラウド・コンピューティングでは、リソース要求に対して柔軟に対応する必要がありますが、その中でもストレージ容量は、増大する一方で決して減る事がありません。企業内ではどうでしょうか？クラウド・コンピューティングを外部のリソース提供サービスと見ずに、次世代のデータセンタ・アーキテクチャと見た場合、自社内のデータセンタ・アーキテクチャをプライベート・クラウドと表現することができます。即ち、増大するストレージ需要に柔軟に、しかも必要に応じて可及的速やかに増強する・・・、7110をはじめとしたSunのOpen Storageは 、こうした時代の要求に応えます。経済状況が困難を極めていても、人間の活動がある限り、必ずストレージは増え続けます。

OpenSSO Enterprise が Product of the Year 2009を受賞！おめでとう、Pat!!

[summary] OpenSSO Enterprise won Security Product of the Year!

(Translate to English)

Pat のblog にも書かれていますが、OpenSSO Enterprise がDeveloper.com のSecurity Product of the Year 2009 を受賞しました。

さらにさらに、OpenSSOだけでなく、

So... Congratulations to NetBeans (my IDE of choice, of course!), and also to MySQL, which won the Database Tool award with MySQL workbench...

とNetBeansとMySQLも賞を受賞したわけです。さい先いいですね。これで景気も上がるといいのですけど。

七里ケ浜海岸からの富士山

[Summary] Continued Kamakura-life. In the morning, I took photos at the shore of Kamakura :  Shichirigahama-Kaigan

(Translate to English)


新年2日目、朝起きて七里ケ浜海岸に来てみました。富士山がとても美しかったです。サーファーも波乗りを楽しんでいました。しかし、、七里ケ浜って、英語のwikipediaに載ってるんですね。びっくりしました。

謹賀新年。今年もよろしくお願い致します。

[Summary] Happy New Year 2009. As one of my annual activities, I went to  Kamakura Tsurugaoka Hachimangu.  I took a picture at almost same position as usual. Comapared to last decade, there were more people who were asking for god's help,  I've been to there for 20+ every year on the same time, same day --- Jan 1st, 08:30 JST every year. For past 24 hours, I did a lot of traditional Japanese custom activities such as, Toshikoshi-soba, Jyoya-no-Kane, Hatsu-mo-de, Omikuji, Otoso, Ozoni, Osechi, etc..

(Translate to English)


今年もよろしくお願い致します。
例年と同様（写真まで（ほぼ）同じ場所から！）、鎌倉の鶴岡八幡宮に初詣に行ってまいりました。お賽銭入れて、祈祷して、おみくじ引いて、クレープ食べて、買い物して・・・・・・実家ではWiiをやって・・・今年はWii Music です。

<

日本でのOpenSSO関連サービス

[summary] As Pat blogged,  NRI has started consulting/support services. Welcome, NRI!  In addition, I have to introduce Sun PS Japan has already started consulting services for OpenSSO and identity related solutions.

(Translate to English)

既に佐藤さんのblog 、さらには今朝はPat のblogでも紹介された「NRIさんがOpenSSOのコンサルティング／サポートサービスを始めた」旨、OpenSSOコミュニティには、歓迎されているようです。今まで個別しかも秘密裏に行われてきたと思われるOpenSSOもOpenIDの勢いをもってして、広く認知されるのでは、と期待されます。

花木さんも書いているように

ブラウザの言語設定が ja になっている場合、OpenSSO トップページにアクセスすると、自動的に 日本語のトップページ にリダイレクトされる

なので、日本の皆さんの益々の参加を期待します。

さて、「NRIさんはわかったけど、作ったPat本人が所属するSun は日本ではなにもやらないのか？」と言われそうです。いえ、もう既に始めています。Sun PS Japan の大橋さんのグループで進めています。ここは、Identity のみならず、SOAやJavaのGeek もいますので、 是非、声をかけてください！

38ノードでHadoop を評価

[summary] Prior to my hard work for CEC2008, I worked for Hadoop with bunch of nodes. This time, I configured 36 DataNodes + 2 NameNodes and succeeded benchmarking testing.

(Translate to English)

11月上旬に開催されたCEC2008の準備のために９・10月は非常に忙しかったのですが、そうした中、複数の顧客の要望で、HadoopをSunのサーバを使って評価することとなりました。

• 最新の0.18.1を使用
  
• 36 DataNode + 2 NameNode の計38台を最大として構成（仮想環境上のノードも含む）
• テキスト・データを500MB 〜 数十GBまで順次に利用
• LocalファイルがHDFSに分散される経過を6 〜36 DataNodeで検証
• replication の数による動作の変化を検証
• 耐障害性検証を目的とした、DataNode ならびにNameNodeを止めて処理継続性をテスト
• Map/Reduce のスケーラビリティ検証

上記の中でも、多くの方が興味を持つのは、「Map/Reduce のスケーラビリティ」でしょう。これは6 〜36 DataNodeで順次検証しました。いろいろなDemoプログラムや自作のものを試してみましたが、結局、wordcountでスケーラビリティを検証することとなりました。「Solaris でMap/Reduceを38台で稼働させている」証拠のスクリーンショットが下図です。

このタイミングでは、Map が18%まで進行していますが、各ノード共処理が正常に行われていることがおわかりいただけると思います。ここではSolaris上での稼働状況を可視するためにperfbar(日本語紹介はこちら）を使っています。上の3列のグラフがDataNodeで、下２つがNameNodeです。DataNode上ではperfbar の緑色が示す通り、アプリケーションが「よくまわっている」状態です。もし赤が多いと、I/O等のシステム側のオーバヘッドが多いことになりますがそれもなく、非常に上手くいっているようです。

さて、DataNodeを6〜36と増やしていった時のパフォーマンスの変化をグラフにしたのが下図です。

上図を見るとほぼ 6 nodeから21 node まではリニアに伸びていっているのがわかります。しかしながら、それ以降は横ばいもしくは伸びが鈍化しています。これは以下の理由によると思われます。

• 一部仮想環境があるために、ボトルネックが発生した
• DataNodeの数に比べてデータの大きさが十分でないために、データをHDFS空間へコピーする際に的確な分散がされてなく、Mapプロセスによる処理が均質化されていない

前述したエントリでも書きましたように、Hadoop は小規模で動かすことはそれほど難しくありません。しかしながら、ある程度の規模を超えると、構成やチューニングポイント等、考えなければならない箇所が数多く出てきて、大規模な構成で構築するには、中規模構成での検証の経験等ある程度のknow-howは必須だと感じました。

Hadoop を最も簡単に体験する方法

[summary] If you want to try Hadoop, one of the easiest way must be to use "Hadoop Live CD" which is a OpenSolaris Project. 

(Translate to English)

ここに、ごくふつーのSONY VAIO PCG-5D1N（法人向けモデル）があります。
OSはWindows XP。外出先でメール読んだり、Web見たり、軽いのでそれなりに使えます。でも、使い方はそれだけ？？

他に有用な使い方は？？

そうですね、OpenSolarisをインストールすることでしょう。でも、会社で使うPCに入れるには、勇気のいる必要も多いかもしれませんね。それに、何故？？OpenSolaris???という疑問を持つ人もいるでしょう。

そうした中、謎のCDが！！このCDを使ってbootしてみることにします。

をををを！！OpenSolarisのCDでした！！このまま、bootを続けてみます。

キーボードの種類を選択するとしばらくして、Gnomeが立ち上がり、OpenSolarisライセンスのwindow があがります。これをcloseすると次に現れるのが・・

Hadoopのライセンス！！

Desktop上の左には、Hadoop Start なるアイコンが！！！これをクリックしてみます。

VAIOのファンがうなりをあげています。なんかいい予感が。7つ道具（？）が入ったUSBメモリを差し込んで、jpsコマンドで調べてみます。（注:default では最小限のツールしか入っていないので、jpsをはじめ幾つかのツールを予め準備しました）

 Hadoopが動いています！！zoneadm で調べてみると

つまり、Solaris 上で、３つのzoneでHadoopが動かそう、、というわけです。それでは実際にやってみることとします。

まず、Hadoopのファイルシステムがどうなっているかを見てみます。

ちゃんと動いていることが確認できました。次にローカルファイルを確認します。

このLICENSE.txtを、Hadoop ファイルシステムへコピーしてみます。

1行目：Hadoopファイルシステム上に /in_dir という名称���directoryを作成します。
2行目：ローカルファイルであるLICENSE.txt をHadoopファイルシステム上の /in_dir 下へコピーします。
3行目：コピーされたかどうかを確認します。ファイルは存在しています。

 次に、完全にコピーされたかどうか、ファイルを比較してみます。

diff で確認しても差分はありませんでした。

それでは、いよいよ、Hadoop MapReduce のサンプルプログラムを試してみます。ファイルのword数をカウントする、wordcount を動かしてみます。

/in_dir 下のファイルに含まれるwordの出現回数をカウントし、その結果を/out_dir下のファイルに書き出します。うまくいったようです。複数のタスクが稼働しているのが確認できますね。

（注）実行するためにはある程度、メモリが必要です。Gnomeが重いこともあり、メモリが1GBのPCでは、動くかどうか微妙なところです。メモリ不足の場合、上記の処理の途中でフリーズしてしまうこともあります。その場合、OpenSolarisブート時にテキストモードで立ち上げれば大丈夫です。また、ここに到達する前に、Gnomeが立ち上がらずクラッシュする場合も、テキストモードならば、立ち上がる可能性もありますので、やってみてください。

それでは、どんな結果がでているかを確認してみます。

/out_dir ディレクトリ下にpart-00000 が作成されています。この中を調べてみます。word毎に出現回数がちゃんと記録されています。

いかがでしょうか。手元の1GB程度のPCでもちゃんとHadoopを体験することができました。Solarisのzoneならではです。 今回、使った謎のCDの作り方は、Open Solaris Projectのここのサイトを参考に作成してみてください。

COBIT実践ガイドブック

[summary] I was one of editors for COBIT Guide Book. It's been just published.

(Translate to English)

COBIT実践ガイドブックが発売されました。私は、DS(サービス提供とサポート)の全体編集およびRACIチャートを担当しました。値段が少々張るのが難点ですが、ここまで詳しくCOBITを解説した書籍は過去にありません。ご覧頂くと幸いです。

Sun のLAMP stack とOpenSSO。今すぐダウンロード可能！

[summary] The Sun Web Stack, a fully supported and integrated enterprise-quality AMP (Apache/MySQL/Perl or PHP) stack for Solaris and Linux operating systems was announced. Details are here.

(Translate to English)

いち早く、ITProにて紹介して頂きました。

Patが中心になって進めているOpenSSO Expressもdownload可能になりました。

[Summary] I'm starting using Flock. It seems Cool! A lot happened around me ... personally, "Boki" Cat2.0 in my house went to  the rainbow bridge...

久しぶりのブログエントリの前に、Flock を使ってみることとします。ここ一ヶ月間、ほんといろいろとありましたが、個人的には、我が家のCat2.0 が虹の橋に行ってしまったことです・・・

JRubyのパフォーマンス：cRuby1.86 / 1.9 とのシングル／マルチスレッドでの比較

[Summary] Koichiro and Naoto,  who are JRuby "Japanese leaders", wrote out an article with results of   benchmarking test of single/multi thread performance for JRuby1.1 vs. cRuby 1.8.6 / 1.9 !  To summarize, CMT technology with Sun SPARC Enterprise T5220 contributes throughput of multi thread processiong for JRuby. Great Job, thanks Koichiro and Naoto!!

(Translate to English)

うっかりして見落としていました。"Japanese JRuby Guy" こと大場光一郎＆高井直人コンビの非常に興味深い記事が”まるごとRuby! Vol.1"(インプレスジャパン刊）に掲載されました。目次によれば、

■特集2　輝く2つのRuby
――最先端Ruby 1.9と高性能JRuby 1.1
 Part 1　JRuby 1.1の性能測定も実施!
JavaとRubyの融合世界! JRuby入門　 ［大場光一郎／高井直人］
 Part 2　速さも機能も段違い
ここがスゴい! 新世代Ruby 1.9 ［後藤謙太郎］

となっています。”JRubyの性能”として章の中で、非常に興味深いベンチマークテストと考察を行っています。主なところを書き出すと以下の通り。

JRuby 1.1では、少なくともRuby 1.8.6と同等かそれよりも速いくらいの実行性能を得られます。項目によっては、Rubyのバージョン 1.9.0よりも速いものもでてきています。

いやぁ〜、ここまで言うとは。ちょうど、近々来日するCharles Nutter と本日、チャットをしていたのですが、この話をしたら、非常に喜んでいて、向こうで鼻息荒くしている様子も感じとれました（本当か？）。 ますます、ヒートアップするか？ Charlie vs. Ko1 の”スピード競争”！！（「若気の至り」という話もありますが。。（某氏曰く））

Ruby と JRubyのベンチマーキング

多体問題を解くプログラムを実行した際の性能を Ruby処理系ごとに比較してみましょう。それぞれの処理系には得意な処理と不得意な処理があり、このベンチマークテストが全体の傾向を決定するわけではありませんが、JRubyが十分速い場合があるということがわかります。図５を見てください。このケースでは、JRuby RC3の実行性能は、Ruby1.8.6 よりもずっと優れています。さらに、Ruby 1.9.0 よりも性能が良いという結果になっています。

図5がお見せできなくて残念ですが（掲載誌を購入してください（笑））、たしかにこのケースでは1.9.0 といい勝負をしているようです。さて、次にいよいよ、マルチコアでの勝負！！

マルチコア環境での性能

JRuby が他の Ruby処理系よりも圧倒的に優れているのが、マルチコアプロセッサ環境の性能です。JRuby では、Javaのスレッド機構をうまく利用しているので、処理系全体をロックすることなしにネイティブスレッドでの並列実行が可能になっています。

.....（中略）.....

テスト用サーバ機器として「Sun SPARC Enterprise T5220」を用意しました。このサーバは 8 コアのUltraSPARC T2プロセッサを搭載し、同時に64スレッドを実行できます。

なんと、T2のマシンでやるとは！！スバラシイ！！

......（中略）.....

興味深いのは、シングルスレッドのときにはRuby 1.9 のほうがJRuby よりも速く処理が終了しているのに対して、スレッド数が増えるにつれて JRubyのほうがより短時間で処理が完了している点です。

JRubyであればスレッド数を増やしていくことでマルチコアのCPU を搭載したマシンの性能をあますことなく活用できます。今後、ますますマルチコアプロセッサを搭載したマシンが利用されていくことを考えると、JRuby が活躍する場面は増えてくるのかもしれません。

掲載されているグラフを見ると、コア数（この場合は8）までは、非常に良く、性能が伸びています。その後、CMT特有のマルチスレッディングに関しては、JRuby の今後のエンハンスによって性能が伸びていくことになるのでしょう。今回、テストに使われたソースは次の通りです。

require 'benchmark'

def fib n
  n < 2 ? n : fib(n - 1) + fib(n - 2)
end

Benchmark.bm do |x|
  for i in 1..64 do
    x.report("%2d threads" % i) do
      ts = []
      i.times do
        ts << Thread.fork do
          (64 / i).times do
            fib 10
          end
        end
      end
      ts.each{|t| t.join }
    end
  end
end

Thread.fork にて、スレッドを新規に作成させています。

もう少し細かく、また、他の事項についても紹介したいところですが、そこは掲載誌をご覧ください。ともあれ、大場さん、高井さん、お疲れさまでした！！

パネルディスカッション＠Interop Tokyo

[Summary] As a speaker, I will join the panel discussion of  "Trust & Identity: Best practices of identity management" at Interop Tokyo 2008.

(Translate to English)

Interop Tokyo 2008が開催されます。NTTの高橋さんChair の下、京都大学の永井先生、Yahoo! Japan研究所の五味さんとともにパネルディスカッションをやります。お題は、"トラスト＆アイデンティティ：アイデンティティ基盤の最新導入事例"です。

インターネット全体の統治と方向性に責任を持つ組織であるISOC(Internet Society)は、2007年12月の会合において、Trust & Identity を今後の戦略的活動に据えるという決議とアナウンスメントを行いました。
シ ステム管理者もユーザも種々雑多なアカウントの管理に手を焼いている中で、フィッシング詐欺や個人情報漏洩等のセキュリティ問題が、ますます深刻化してき ています。いまや、企業・公共システムからマス向けサービスまでの幅広い分野で、信頼できるアイデンティティ基盤の導入と、その運用技術の確立が、まさに 求められるようになりました。このとき鍵となるのが、システム・サービス要件に応じた、セキュリティとユーザビリティとの最適なバランスです。
現 在、アイデンティティの管理技術は、アプローチを異にしつつ複数提案され、それぞれ、様々な場面での導入が進みつつあります。本セッションでは、アイデン ティティ管理技術の代表的なアプローチ（SAML, OpenID,CardSpace）につい て実際の導入事例を交えて解説し、今後の発展や相互運用に関する展望を議論します。

 Interopに行かれる方は、お立ち寄りいただけると幸いです。

OpenSolarisをVAIOに入れてcompizを動かす！！

[Summary] I installed OpenSolaris and turned the 3D cube of compiz on, but ........

(Translate to English)

片貝さんがブログしていたように、compiz がOpenSolarisに標準で添付されています。VMware Fusion on Mac 上では、未だサポートされていないので、会社のマシンであるVAIO VGN-G1AAPSへOpenSolarisをNativeにインストールしてみました。

compiz 3D cubeを動かすには、メニューの「システム」--->「設定」--->「外観の設定」--->「Visual Effects」--->「Normalをオン」

にすればオッケーです。以下の写真の様に使えるようになります。

 

 のはずなのですが・・・・

このVAIOのチップセットの問題なんでしょうが、写真のようにcompiz の3Dキューブをオンにすると、window のinput/outputともきちんと処理されなくなってしまいます。Terminal window はプロンプトもあがってきません。そうすると、どーやって元へ戻すかが大問題になっています。

今のところ、メニューより「ログアウト」-->（ログイン画面にて）「オプション」--->「フェールセーフの端末」---> (ログイン）--->(xterm)   にて、"rm -rf .g*" を実行。 そのあとxterm をexit すれば、初期の状態に戻ります。

残念ながらこれではこのVAIOではcompiz 3D cubeをOpenSolaris より使えません。早くパッチがでてきてくれるといいな。

Simon Phippsがやってくる！！：OpenSolaris 2008.05 リリース記念セミナー

[Summary] Simon Phipps will join OpenSolaris launch event in Tokyo on May 23rd

(Translate to English)

短信です。Sun のChief Open Source OfficerであるSimon Phippsが急遽来日。5月23日の"OpenSolaris 2008.05リリース記念セミナー"に出席することとなりました。彼の口から、Sunのオープンソース戦略が語られるか？？？