水曜日 4 16, 2008
水曜日 4 16, 2008
およそ一年前にZFSの性能に関して 順次アクセスファイルにおけるZFSの性能について - 日本語 として書いていますが、 今回さらにもう少し性能の良いマシンで試験できましたので報告します。 とはいっても、他部署から譲ってもらった使い古しのマシンで、最新というわけではないです。 前回はx86でしたが、今回はSPARCです。
System : Sun Fire 280R (2 X UltraSPARC-III+) CPU Type : SUNW,UltraSPARC-III+ * 2 CPU MHz : 1200MHz CPU 2nd Cache : 8MB Memory : 8GB OS : SunOS 5.10 Generic_127111-11 Device Size Vendor Model Revision c0t0d0 36.4GB SEAGATE ST336704FSUN36G [1526] 内蔵1 c0t1d0 18.1GB SEAGATE ST318304FSUN18G [0726] 内蔵2 c3t5002 253.5GB SUN T300 [0302] T3B c3t5002 253.5GB SUN T300 [0302] T3B c4t1d0 18.1GB SEAGATE ST318304FSUN18G [1126] A5200前側 c4t2d0 18.1GB SEAGATE ST318304FSUN18G [1126] A5200前側 c4t3d0 18.1GB SEAGATE ST318304FSUN18G [1126] A5200前側 c4t4d0 18.1GB SEAGATE ST318304FSUN18G [1126] A5200前側 c5t17d0 18.1GB SEAGATE ST318304FSUN18G [0726] A5200後側 c5t18d0 18.1GB SEAGATE ST318304FSUN18G [042D] A5200後側 c5t19d0 18.1GB SEAGATE ST318304FSUN18G [042D] A5200後側 c5t20d0 18.1GB SEAGATE ST318304FSUN18G [042D] A5200後側
c0に繋がっているディスクにシステム(OS)がはいっています (運用する時には3way mirrorにする予定)。 c3はFCAL switch経由で2台のT3Bストレージアレイに繋がっていて、 今回はtarの試験の時の元データを此処に入れました。 c4/c5が今回の試験の対象となるJBOD(Just a Bunch Of Disks)です。 A5200という古いJBODですが、FCAL接続なのでまあまあです。 ただし、残念ながらc3/c4/c5すべて1GbpsのFCAL HBAで構成しています (A5200はもともと1Gbpsしかサポートしないですけど)。 システムはSolaris 10 8/07 (U4)で、比較的最近のパッチレベルまで当ててあります (Solaris 10 5/08 (U5)がすでに発表されています)。
前回は特に書きませんでしたが、今回ZFS/UFSを作ったコマンドは以下のようになります。
最近はZFSを使うことが多いので、 SVM (Solaris Volume Manager)でミラーとかRAID 5を組んだ時のめんどくささが際だちました。 SVMで組むとどちらも事実上すぐには使えません。 ミラーはmetattachしたあと同期完了を待たないと、ベンチマークになりません。 RAID 5も初期化完了をまたないとつかえませんが、どちらも結構時間がかかります。 この点ZFSは数秒(それもほとんどの時間は指定されたディスクが他の用途に使われていないか 調べている時間です)で終わるので、これになれるとSVMはつらいです。 しかも、この後newfsをしないと使えませんが、ZFSはすぐ使えます。# ZFS ストライプ (RAID 0) zpool create bench c4t2d0 c5t18d0 c4t3d0 c5t19d0 c4t4d0 c5t20d0 # ZFS ミラー(RAID 0+1) zpool create bench mirror c4t2d0 c5t18d0 mirror c4t3d0 c5t19d0 mirror c4t4d0 c5t20d0 # ZFS RAIDZ zpool create bench raidz c4t2d0 c5t18d0 c4t3d0 c5t19d0 c4t4d0 c5t20d0 # ZFS RAIDZ2 zpool create bench raidz2 c4t2d0 c5t18d0 c4t3d0 c5t19d0 c4t4d0 c5t20d0 # SVM ストライプ (RAID 0) metainit d900 1 8 c4t1d0s6 c5t17d0s6 c4t2d0s6 c5t18d0s6 c4t3d0s6 c5t19d0s6 c4t4d0s6 c5t20d0s6 # SVM ミラー (RAID 0+1) metainit d901 1 4 c4t1d0s6 c4t2d0s6 c4t3d0s6 c4t4d0s6 metainit d902 1 4 c5t17d0s6 c5t18d0s6 c5t19d0s6 c5t20d0s6 metainit d900 -m d901 metattach d900 d902 # SVM RAID 5 metainit d900 -r c4t1d0s6 c5t17d0s6 c4t2d0s6 c5t18d0s6 c4t3d0s6 c5t19d0s6 c4t4d0s6 c5t20d0s6
注意してほしいのは上記の作成方法が二つのコントローラを使った場合の速度的に最適か どうかは私にはわかりません。 過去の経験からなんとなくそうしているだけです。 ミラーなどの場合は安全性からはこれが良いと思ってはいますが。
今回の試験で予想はできたのですが、やっぱりというのが扱うファイルの大きさです。 前回は3.6GBのファイルを使っていたのですが、 今回はメモリが8GBあるマシンだったのでディスクに書き込む時間の計測にはなりませんでした (とくにZFSの場合全部キャッシュされてしまう)。 そこで、同じファイルを三つ足して11GBにして、これをT3B側のZFSにおいて、 複写する時間を計ることにしました。 しかし、やってみてわかったのですが、T3Bからの読み込みがボトルネックになりました。 つまり1Gbps以上の速度で書き込みができるようなのです。 開き直ってファイルを複写するのではなく
で単にゼロの内容のファイルを作ることにしました(mkfileでも良かったかもしれません)。 大きさは前記のファイルと同じにしただけで、意味はありません (メインメモリの容量をはっきり超えればよいはず)。 さらに今回はそれぞれ単独のドライブでの試験もやってみました。dd if=/dev/zero of=file_name bs=1024k count=11037
結果は:
| cp/rm | cp | tar x | |||||||
|---|---|---|---|---|---|---|---|---|---|
| Real time | User time | Sys time | Real time | User time | Sys time | Real time | User time | Sys time | |
| UFS Single drive | 06:22 | 00:00 | 00:57 | ||||||
| SVM/UFS Stripe | 01:34 | 00:00 | 01:14 | 01:42 | 00:00 | 01:22 | 30:44 | 01:53 | 12:51 |
| SVM/UFS Mirror | 02:47 | 00:00 | 01:23 | 03:01 | 00:00 | 01:22 | 41:00 | 02:00 | 13:22 |
| SVM/UFS RAID5 | 45:59 | 00:00 | 01:38 | ||||||
| ZFS single drive | 05:06 | 00:00 | 00:22 | ||||||
| ZFS stripe | 00:59 | 00:00 | 00:22 | 01:19 | 00:00 | 00:22 | 29:40 | 01:48 | 26:47 |
| ZFS Mirror | 02:01 | 00:00 | 00:30 | 02:39 | 00:00 | 00:23 | 30:02 | 01:50 | 27:03 |
| ZFS RAIDZ | 01:24 | 00:00 | 00:22 | 01:49 | 00:00 | 00:23 | 30:48 | 01:50 | 27:02 |
| ZFS RAIDZ2 | 01:57 | 00:00 | 00:22 | 02:44 | 00:00 | 00:22 | 31:22 | 01:51 | 27:15 |
再びStarSuite8でグラフを ちょっと作ってみました:
わかると思いますが、UFS RAID 5の結果はいれてません
(確認の意味でやりましたが、やっぱり桁違いに遅いのでこれしか測定していません)。
今回もほぼ前回と同様の傾向が見て取れますが、 さらに差がはっきりしたように思います。 また、細かく見るとZFSのRAIDZ/RAIDZ2ともにMirrorよりはやいというのは意外に思えます。 しかし、これはミラーでも同じ数のディスクしか使っていない、 つまりストライプの幅が半分くらいになっているのでこれが影響しているだけかもしれません。 ミラーが単純ストライプ(RAID 0)の倍くらいの時間という結果も、 ストライブの幅の影響と思えなくはないです。 今回も前回と同じ反省点があります(進歩していない (X X))。 表を見てもCPUの時間に差がありません。 つまり、SVM/UFS/ZFS/ZPOOLに費やされているCPUの時間が計測されていません (%ですけどtimexコマンドの"-s"で計れそうです)。 tarコマンドの結果に関しては残念です。 ほぼ間違いなくデータの送り側であるT3Bの1GbpsのFCALがボトルネックで、 書き込み側の時間に測定になっていないと思われます。 もし、経過時間に使用したトータルなCPU時間が計測できていれば少しは意味のある データがとれたかもしれませんが、このままでは意味がありません。 UltraSPARCIII+@1.2GHzのシステムで1Gbps FCALの限界をファイルシステムの書き込みで こんなに簡単に超えるとは思っても見ませんでした。
今回の結果をだけを見るとZFSのRAIDZ2をJBODの場合には多用したいと私は思いますね。 速度的にはUFSやZFSのミラーよりも早く、容量的な制限が少なく、 可用性に関しても充分 (もちろんHBA丸まるとかの場合を考えるとミラーしかないですけど) といったところでしょうか。 もちろん用途によりますけど、かなり多くの用途で通用しそうです。
金曜日 4 11, 2008
今年で2回目になる Sun Business .Next 2008で、 今回もしゃべることになりました。 ただし、そろそろ若手にも出てもらおうということで、 私以外にOpenSolarisコミュニティ活動で活躍してもらっている人にも出てもらいます。 残念ながらコミュニティのトラックは人気のようでほぼ埋まってしまっているようです。
ということで、私の内容ではなくまだ席が少し空いているキーノート・セッションに関して。 今年は John Fowler がきてくれるということで、期待しています。 Johnは現在ハードウエアの部署の大ボスをしていますが、 元々はソフトウエアの人です。 以前にもふれたと思いますが、私はしばらく(3年半)USのサンで仕事をしていました。 その時におなじOpenWindowsのグループでDeskSetの担当だったのがJohnでした。 私の記憶が正しければカレンダマネージャ(cm)を書いたのが彼です。 Johnとその当時は直接話したことは無いのですが、 後に彼の奥さんとなった女性と一緒に仕事をしたことがあり、 3年くらい前にJohnとあった時にそのことでなぜか盛り上がりました (日本からきたエンジニアが珍しかったのか、奥さんが私のことを彼に話していたそうです)。 その後、驚くほど出世したわけですが、 彼の人格によるところが多そうです。
少しだけ彼と私が似ているとすると、 ソフトウエアを仕事としている(た)のに、 ハードウエアに非常に関心があるということでしょうか。 また、本人からとかではなくJonathanの話として聞いたことがあるのですが、 Johnの優れた点の一つは、社内の様々な人を繋ぎ、 連携させプロジェクトを成功させていくという点だそうです (アメリカ人の技術者は専門職に特に特化している人が多く、 別の分野の人を連携させるのはたやすくありません)。 これは私も是非見習いたい点です。 話をしているととてもソフトウエアの専門家であったとは思えないほど、 広い範囲の知識(と興味)をもち、 ハードウエア部門を背負って立つのも当然と思えるほどです。 久しぶりにあうJohnが当日どのような話をしてくれるのか楽しみです。
土曜日 4 05, 2008
自転車の話は昨年の出張以外しばらく書いていませんが、 ほぼ毎週末乗ってはいました。 風張峠にいっていらいひざが痛かったのも、 リハビリのおかげでよくなりました。 この間いろいろ走った中で変わったところに行き、 GPSで軌跡が残っているものを少しだけ書きます。
2008/01/13 江ノ島 110km?
2008/02/16 東京大回周 190km?
2008/03/02 百草園 70km?
2008/03/23 三浦半島 170km
上記の自転車に関連した写真を以下に掲載しました。
![]() |
| Bicycle25 |
水曜日 3 26, 2008
はやいものでもう桜の季節です。
何となく今年は開花してから一気にさいてきているように思います。
以下のリンクにとりあえず5枚ほど写真を載せました。
![]() |
| Sakura 2008 |
砧公園は美術館に駐車場がありますが、花見の時期はいつもいっぱいなります。 環八ぞいにずらーっと並んで待っているのですが(かなりめいわく)、 いい時間に入れるはずもないですから、 いらっしゃる方は電車・バスの利用をお勧めします。
びっくりしました。 なんとZFSを使ったNASの製品というのがすでに出荷開始されています。 サンからではなくコア・マイクロ・システムズさんというところなのです。 いろいろNAS関連の製品を出されているようなのですが、 その中で最新の製品が NetFiler ZFS シリーズということです。 システムはSolaris 10を使い、CPUはx64とまで書かれていますがどのx64かまでは書かれていません。 これ以外のNASの製品はWindows Storage Serverを使っておられるようですが、 これからは?Solarisということなのでしょうか(だとなおうれしいです)。 うーん、すばらしい!
Breaking news !? ZFS based NAS product has start shipping in Japan. But not from Sun, from Japanese company called Core Micro Systems Incorporated. I can not find any English translated materials yet, but at least you could see the some of the table and chart here. System is based on Solaris 10, and CPU are appear to be x64 based (but does not say exactly which). They must to know something good in this industry :-) (this company has line of NAS products, and other product line are based Windows OS).
火曜日 3 18, 2008
先日 Solaris Night Seminar 5th 〜 〜 ユーザ管理・認証編 〜 〜 を 当社の神宮前のオフィース で開催しました。 昨年からはじめまして( 第一回は昨年4月 でした)まだ5回目と思われるかもしれませんが、 毎回申し込みがいっぱいになり追加開催の要望が多く、 同じ内容でリピートも開催されているのでその倍はやっていることになります (もちろん内容はまだ5種類目ですが :-)。 毎回申し込みがいっぱいになるという問題点と用賀という場所がやはり遠いという方のために、 最近は神宮前のオフィースも使うようにしています。 神宮前は山手線内にあるという地の利と、 講習会会場が広く100人以上の方に一度に入って頂くことができます (用賀は60人はいるとかなりきつい感じになります)。
主催者としては全員用賀のオフィースにいるのでちょっと不便なのですが。今回も90人近くの方において頂き盛況でした。
当日の資料はまもなく講師である舟崎さんの Funasaki's Weblogで公開されるはずです。 また、初級編だけではなく最新の情報も提供できるようにと Solaris/OpenSolaris Hot Topics セミナー(これはすでに終わっている講習会の案内ですが)も最近はじめました。 どちらの内容も当日のアンケートや質疑応答の内容を参考に先の予定を決めていますが、 今後は OpenSolarisユーザ会のメイリングリスト などでもぜひ意見を出して頂いて決めていきたいと思います。 単にこれが知りたいとか、今こういう事で困っているとか、 あるいは自分はこういう事を知っているので是非しゃべりたいとか。 様々な意見が出ることを期待しています。
月曜日 3 03, 2008
昨年の話で申し訳ないのですが、以前に アメリカ出張 した時のことを書きました。 その時に乗った自転車の話です。
ずっと自転車の話を書いていませんが、ほぼ毎週乗っているのはかわりません。 しかし、これだけ書いていないともうどこに行ったのかかなり忘れています :-p この週末は初めて百草園の坂を登りました、2回目の挑戦で一気に登れました (詳しくは後日?)。すぐに書かなかった言い訳としては初めて買って使ったGPS(Garmin eTrex Vista HCx)を 持って行ったのですが、それでとった軌跡のデータをどう処理して良いかわからなかったからです。 実は日本では ALPSLAB route を使うと簡単にwebに載せられるのを知っていたのですが、 これは(当然)日本だけでアメリカの場合がわからなかったのです。 やっとまとまった時間を使って捜したところ everytrail というのがなかなか良さそうです。 これだと全世界をカバーしているようですが、 標高差の扱いなど、alpslabの方が機能的には上のようですけど。
さて、これは出張中2回目にサンノゼのホテルからメンローパークのオフィースまで行った時の様子です(週の内三日はサンタクララで近かったのですが、2日間はメンローパークでした)。
この出勤/帰宅という事に関して、基本的には満足です。
こちらの道はほとんどの場合日本(都会)の道よりも広く走りやすいです。
しかも、かなり多くの道でバイクレーンというのが整備されていて
(日本でも試験的にはじめたようでけど)、
かなり気持ちよく、安全に走ることができます。
さて、一週間の会議ずくめを終えて、週末はナパで自転車とワインざんまいです。
カリストガにあるバイク屋さんは10:00に開くと言うことなので、
そこにあわせるように車を早朝サンノゼ空港で借り
(エコ云々いってた私としてはこのレンタカーがプリウスだったのがせめてもの救い)
ました。
カリストガでは
Calistoga Bike Shopで自転車を借りました。
此処ではBianchi Erosを貸してくれました:
その他この自転車旅行の写真です:
![]() |
| Novemeber_ |
今回初めて使ったeTrex Vista HCxですが、感想は曖昧な感じですね。 まあ、買ったばかりで使いこなせなかったというのもあるのですが、 途中で何度も凍ったのが気に入りません。 ロードバイクのようにハンドルに結構きついショックが伝わる場合は、 最悪壊れるとも言われているのですが、 そのためにRAMマウントにしていますので。 日本に帰ってからも歩いて手で持ち歩いたりいろいろやった結果、 どうも電池が怪しいような気がします。 eneloopを使っていますが、充電直後の方が調子がよい、 接点復活材で電池周りの接点を良く拭いておくとさらに調子がよいという感じでした。 電圧が関係するとなるとアルカリ電池だと調子がよいのかもしれません。 とりあえずそれ以外に関してはほぼ思っていたとおりの機能/性能を発揮してくれました。 これからは私の自転車旅行のともになりそうです。
日曜日 2 24, 2008
I have accidentally edited existing this entry, sorry if I causes any trouble. It should be same contents as before (first few line were manually recovered.I have written about my last US b usiness trip. I mentioned GPS track data, and finally I got a time to do bit of analyze and learn how to utilize. I took me a while since I just brought GPS day before this trip, and this was my first handy GPS (Garmin eTrex VISTA HCx). I have known web site in Japan which does fairly good job on route information including altitude information:
Such as this. This was longest for a day trip I have done with bicycle so far. Click and drag within altitude box which will show the indicator on map as well as distance, range of altitude and average inclination.However alpslab only does Japan map, and finally found everytrail web site for other area. This was second trip I made from hotel to office in Menlo Park.
Overall, I was quite happy with the my bike ride.
In many aspect, it was much nicer ride at street than in Japan.
Such as Bike lane (which we just started to implement in Japan),
Now on to the Napa.
Whole week was just meeting after meeting,
I was really looking forward for the week end at Napa.
Since bike shop was open at 10:00,
I made sure that I can arrive by the 10:00 at Calistoga on Saturday.
I rented car early morning at San Jose airport, head off to Calistoga
(I was happy to see rental car was Prius).
I went
Calistoga Bike Shop to rent bicycle.
They let me ride on this Bianchi Eros bike:
All the photo from my Napa trip:
![]() |
| Novemeber_ |
My first time experience with eTrex Vista HCx was mixed. Certainly, I did not know well enough on how to use this new equipment, however it did freezed on few times during the trip. While on the trip, I could not guess what triger the freeze. But now I suspencting battery related. Once I broughted, I immediatly switch battery to eneloop (Sanyo's recharable battery), after using few hours, freeze start happen (or happen often). Right now I making sure, I always use just recharged battery and using type of chemical to reduce register, then it seems to reduce freeze dramatically (for whole day trip with bicycle, only once so far).
火曜日 2 19, 2008
朝自転車に乗っている時になどに撮っている写真です。 寒くなってから空気澄んでいるようで、富士山がきれいにとれます。
![]() |
| Winter at Yoga |
我が家の猫、「ねね」の写真も追加しました
ちょっと時間がたちましたが、日本語で書いている人を見かけないので...IndianaのPreview2が出ましたね( アナウンスメイル)。 出たその日にダウンロードしてインストールをしたのですが、 その後時間がとれなくてさわっていませんでした。 IndianaはUbuntuのようにCD1枚でLiveCDとインストールができるわけですが、 CD1枚に収まらない分はネットワークから引っ張ってくることになります。 Preview1の時はよく見ていなかったためかほとんど追加のパッケージが 無かった(ネットワーク越しにCDと同じパッケージがおいてあっただけ)ようなのですが、 Preview2では少なくとも400個以上の追加パッケージがあるようです (ちょこちょこっとスクリプトを書いて数えたので間違えているかもしれません)。 すでにCDからインストールされているのが433個で、数えたのが464個で、 あわせると900個近くですね。 現在のIndianaのパッケージは基本的にNevadaのSVR4パッケージから生成されている(よう)です。 元になっているNevadaのbuild 79bは1900個位のパッケージがありますから、 まだまだ半分位しかないのでしょうか。 ざっと見た感じではまだまだローカリゼーション関連は入っていないようです (ま、その辺を詰めるためにまもなく出張する人間が近くに座っていますけど :-)。
で、例の誰も使わないPentiumIII@750MHzのマシンで、この追加パッケージを全部入れようと しているのですが....終わらない。 途中で固まりますが、 trussで見てみるとpkg.opensolaris.orgからの返事待ちで止まります。 強制終了して再起動すると少しずつ進むという状態です。 他のマシンでも再現したらバグ報告なのかな... とりあえず家からもやってみますか。 皆さんも preview2 ダウンロードして試してみてください。
水曜日 1 23, 2008
We have not really got much of the snow last year (we'v got bit in end
of the winter/March last year), and last year was consider to be warmer year
(compare to average).
But this year are quite cold (as should be), and we'v got good snow today.
Following are pictures taken from our 21st floor of Yoga SBS Tower.
水曜日 1 16, 2008
Solarisエバンジェリストと名乗っているおかげか、 Solarisエバンジェリストグループには度々記事を書いてほしいという依頼が来ます。 今回は@IT様からの依頼で、
この連載では、サーバOSとして十数年発展してきた「Solaris」をオープンソース化した「OpenSolaris」を紹介し、ブログサーバ「Roller」と組み合わせて運用していくうえで有用なさまざまな知識を紹介していきます。(編集部)という内容のシリーズ物の初回で、 掲載 されております (すでにサンのトップブロガーである Jim が紹介してくれていますが)。 どうも私がさわりをとりあえず書いて、 もっと濃い内容は別の人が書くというのがパターン化してきています。 次回以降はSolarisエバンジェリストグループの中でももっと若手の方に書いてもらう 予定にしております。 記事に関しての意見や、今後の内容に関して希望がありましたら、 このブログに対するコメントでも受けたいと思いますので、 遠慮無くお願いします。
水曜日 12 19, 2007
おもしろい記事がありました。 Linux defector says RHEL zero, Sun Solaris hero。 このサイトは今まで見たことはなく、社内で回っていたメイルで初めて知りましたので、 どのようなサイトなのか、どのくらい読まれているのか(あるいは日本語訳があるのか) 全然わからないのですが、興味深く読ませて頂きました。 UnixからLinuxへの転向が多いと言われる昨今、 我々の所ではこの記事のように逆の話もきかれます。 Solarisエバンジェリストだから書くともいえますが、 Linuxはどちらかというとブームであって、 確かに取っつきがよく、それなりによくできています。 しかし、長年厳しい現場で鍛えられてきているSolarisはLinuxとは違う面で評価されるところが多いのも事実だと思います。 今回の記事のようにLinuxを長年使っていたけれども、 Solarisを使ってみるとLinuxでの問題点が解決されるという話は考えられる話です。 Solarisは取っつきにくさを無料かつオープンソースにすることによって取り払ってきましたが、 実際のInstallや最初に使った時の感じなどまだ残された問題も少なくありません。 しかし、プロジェクトIndianaはこれすらも取り除くプロジェクトですのでさらに期待が持てます。
火曜日 12 11, 2007
なかなかきれいに紅葉しないなとぼんやり思っていたら一気に変わってきました。
イチョウは大半がかなり葉が落ちてしまいました(が、木によってはまだこれからです)、
紅葉は砧公園で見ている限りちょうど良い感じになったと思います。
![]() |
| Fall 2007 blog |
Solarisの話題もぼちぼち書きます。紅葉の写真は今出さないと意味無いので先にしました _o_。