2006年 10月 28日 土曜日
やっぱり Sun がスキ!
X4500に触ってみました
先日、とある事情で Sun Fire X4500 を使ってみる機会がありました。 これまでに無いサーバーなので使い方や性能など色々と疑問も多くじっくり 遊びたかったのですが、準備不足もあり、簡単ですが File の読み書きなど を行ってみました。
iLOM を使ったり Solaris 10 6/06 をインストールするところまでは 他の Sun Fire X シリーズと変わらないのですが、X4500 にはこの大量の ディスクを管理するために専用の 'hd' というコマンドが用意されて います。
# /opt/SUNWhd/bin/hd platform = Sun Fire X4500 Device Serial Vendor Model Rev Temperature ------ ------ ------ ----- ---- ----------- c0t0d0p0 K41BT4CG1E2E HITACHI HDS7225SBSUN250G V44O None c0t1d0p0 K41BT4CG0DLE HITACHI HDS7225SBSUN250G V44O None .... .... ....(省略) .... c7t7d0p0 K41BT4CG2MME HITACHI HDS7225SBSUN250G V44O None ---------------------SunFireX4500------Rear---------------------------- 36: 37: 38: 39: 40: 41: 42: 43: 44: 45: 46: 47: c5t3 c5t7 c4t3 c4t7 c7t3 c7t7 c6t3 c6t7 c1t3 c1t7 c0t3 c0t7 ^++ ^++ ^++ ^++ ^++ ^++ ^++ ^++ ^++ ^++ ^++ ^++ 24: 25: 26: 27: 28: 29: 30: 31: 32: 33: 34: 35: c5t2 c5t6 c4t2 c4t6 c7t2 c7t6 c6t2 c6t6 c1t2 c1t6 c0t2 c0t6 ^++ ^++ ^++ ^++ ^++ ^++ ^++ ^++ ^++ ^++ ^++ ^++ 12: 13: 14: 15: 16: 17: 18: 19: 20: 21: 22: 23: c5t1 c5t5 c4t1 c4t5 c7t1 c7t5 c6t1 c6t5 c1t1 c1t5 c0t1 c0t5 ^++ ^++ ^++ ^++ ^++ ^++ ^++ ^++ ^++ ^++ ^++ ^++ 0: 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: c5t0 c5t4 c4t0 c4t4 c7t0 c7t4 c6t0 c6t4 c1t0 c1t4 c0t0 c0t4 ^b+ ^b+ ^++ ^++ ^++ ^++ ^++ ^++ ^++ ^++ ^++ ^++ -------*-----------*-SunFireX4500--*---Front-----*-----------*---------- None #
後半部分は実際の物理配置でディスクのステータスを表示しています。 c5t0 と c5t4 が ^b+ となっていますが、これは boot disk であることを 表しています ( X4500 では BIOSレベルでこの2本だけが boot可能ディスク として設定されています)。その他の diskは ^++ となっていますが、これは ディスクが装着されており正常にアクセス可能という意味です。ちなみに disk slotが空またはアクセスできない場合は ^-- となり、また Warning 等がある場合は ^## となります。
この 'hd' コマンドは X4500 にプリインストールされていますが、 Supplement CD の SUNWhd パッケージにも含まれているので、システム再 インストールの場合はこちらも同時にインストールする必要があります。
この X4500 内蔵の 48本のディスクは、ZFS との組み合わせが推奨されて います。ZFS は多くのディスクをプールとしてまとめて管理するので、 管理性、機能性、信頼性ではまさに X4500 とベストマッチと呼べると思い ます。ただ、ZFS の性能については既にいくつかのテスト結果はあるものの、 UFS と得手不得手が異なるためか今ひとつはっきりしないので、自分自身で 試して見ることにしました。テスト方法は単純至極、mkfile で 16GBの ファイルを作り、dd で /dev/null に読み出すものです。ちなみにシステム メモリは 8GB 積んでいます。
x4500# timex mkfile 16g myfile x4500# timex dd if=myfile of=/dev/null bs=64k

まず、UFS + SVM RAID-5 の書き込みの遅さが際立ちます。おそらくこの 辺りが従来 Software RAID は遅いとの評価を受けてきたところなのかと思い ますが、ZFS の RAID-Z では full-stripe write 機能によってこの弱点を 克服しています。実際 mkfile 時の iostat を見ると SVM RAID-5 では パリティ計算のため Read I/O が多く行われるのに対し RAID-Z では無駄 なく全て Write となっています。さらに驚くべきことに dd でのファイル 読み込みでは RAID-Z が単純なストライピングである SVM RAID-0 の倍近く の性能を出しています。ZFS の Intelligent Prefetch が効いているので しょうか。
これだけを見ていると ZFS の性能に驚くばかりですが、大きなファイルを 読み書きするだけがファイルシステムではありません。様々なシステムで利用 されるに従い、現在もさらに Tuning 作業が続けられているようです。ただ、 上記データから分かる通り X4500 のハードウェアとしての素性はスペックに 違わず非常に良いようです。使ってみてますます X4500 への期待が高まり ました。
Posted at 09:44午前 10 28, 2006 by masahiko in Sun | 投稿されたコメント[3]
はじめまして。
興味深く拝見させていただいています。
Disks 6というのは、HDD6台を1つのRAIDの組として使用したということでしょうか?
48台全部をRAIDとして使用したら、もっと性能でるのか、メモリーやCPUのバンド幅がボトルネックがどのへんなのか興味があります。
Posted by ORI on 9月月 25日, 2007年 at 11:15 午前 JST #
48本のディスクは 6ポートの SATA-II (3 Gbps)で接続されるのでトータル 18 Gbps まで出るようです。X4500 アーキテクチャドキュメントにいろいろ載っていますので是非ご一読ください。
http://www.sun.com/servers/x64/x4500/arch-wp.pdf
Posted by masahiko on 9月月 26日, 2007年 at 05:54 午後 JST #
なるほど、ブロックダイアグラムにバスのバンド幅まで描いてあるのですね。
参考にさせていただきます。
どうもありがとうございました。
Posted by ORI on 9月月 26日, 2007年 at 06:21 午後 JST #