X4500に触ってみました : やっぱり Sun がスキ! やっぱり Sun がスキ!

やっぱり Sun がスキ!

http://blogs.sun.com/yappri/date/20061028 2006年 10月 28日 土曜日

X4500に触ってみました

先日、とある事情で Sun Fire X4500 を使ってみる機会がありました。 これまでに無いサーバーなので使い方や性能など色々と疑問も多くじっくり 遊びたかったのですが、準備不足もあり、簡単ですが File の読み書きなど を行ってみました。

iLOM を使ったり Solaris 10 6/06 をインストールするところまでは 他の Sun Fire X シリーズと変わらないのですが、X4500 にはこの大量の ディスクを管理するために専用の 'hd' というコマンドが用意されて います。

# /opt/SUNWhd/bin/hd

platform = Sun Fire X4500
Device    Serial        Vendor   Model             Rev  Temperature     
------    ------        ------   -----             ---- -----------     
c0t0d0p0  K41BT4CG1E2E  HITACHI  HDS7225SBSUN250G  V44O None     
c0t1d0p0  K41BT4CG0DLE  HITACHI  HDS7225SBSUN250G  V44O None
....
....
....(省略)
....

c7t7d0p0  K41BT4CG2MME  HITACHI  HDS7225SBSUN250G  V44O None     
---------------------SunFireX4500------Rear----------------------------
36:   37:   38:   39:   40:   41:   42:   43:   44:   45:   46:   47:   
c5t3  c5t7  c4t3  c4t7  c7t3  c7t7  c6t3  c6t7  c1t3  c1t7  c0t3  c0t7  
^++   ^++   ^++   ^++   ^++   ^++   ^++   ^++   ^++   ^++   ^++   ^++   
24:   25:   26:   27:   28:   29:   30:   31:   32:   33:   34:   35:   
c5t2  c5t6  c4t2  c4t6  c7t2  c7t6  c6t2  c6t6  c1t2  c1t6  c0t2  c0t6  
^++   ^++   ^++   ^++   ^++   ^++   ^++   ^++   ^++   ^++   ^++   ^++   
12:   13:   14:   15:   16:   17:   18:   19:   20:   21:   22:   23:   
c5t1  c5t5  c4t1  c4t5  c7t1  c7t5  c6t1  c6t5  c1t1  c1t5  c0t1  c0t5  
^++   ^++   ^++   ^++   ^++   ^++   ^++   ^++   ^++   ^++   ^++   ^++   
 0:    1:    2:    3:    4:    5:    6:    7:    8:    9:   10:   11:   
c5t0  c5t4  c4t0  c4t4  c7t0  c7t4  c6t0  c6t4  c1t0  c1t4  c0t0  c0t4  
^b+   ^b+   ^++   ^++   ^++   ^++   ^++   ^++   ^++   ^++   ^++   ^++   
-------*-----------*-SunFireX4500--*---Front-----*-----------*----------
 None     
# 

後半部分は実際の物理配置でディスクのステータスを表示しています。 c5t0 と c5t4 が ^b+ となっていますが、これは boot disk であることを 表しています ( X4500 では BIOSレベルでこの2本だけが boot可能ディスク として設定されています)。その他の diskは ^++ となっていますが、これは ディスクが装着されており正常にアクセス可能という意味です。ちなみに disk slotが空またはアクセスできない場合は ^-- となり、また Warning 等がある場合は ^## となります。

この 'hd' コマンドは X4500 にプリインストールされていますが、 Supplement CD の SUNWhd パッケージにも含まれているので、システム再 インストールの場合はこちらも同時にインストールする必要があります。

この X4500 内蔵の 48本のディスクは、ZFS との組み合わせが推奨されて います。ZFS は多くのディスクをプールとしてまとめて管理するので、 管理性、機能性、信頼性ではまさに X4500 とベストマッチと呼べると思い ます。ただ、ZFS の性能については既にいくつかのテスト結果はあるものの、 UFS と得手不得手が異なるためか今ひとつはっきりしないので、自分自身で 試して見ることにしました。テスト方法は単純至極、mkfile で 16GBの ファイルを作り、dd で /dev/null に読み出すものです。ちなみにシステム メモリは 8GB 積んでいます。

x4500# timex mkfile 16g myfile
x4500# timex dd if=myfile of=/dev/null bs=64k

まず、UFS + SVM RAID-5 の書き込みの遅さが際立ちます。おそらくこの 辺りが従来 Software RAID は遅いとの評価を受けてきたところなのかと思い ますが、ZFS の RAID-Z では full-stripe write 機能によってこの弱点を 克服しています。実際 mkfile 時の iostat を見ると SVM RAID-5 では パリティ計算のため Read I/O が多く行われるのに対し RAID-Z では無駄 なく全て Write となっています。さらに驚くべきことに dd でのファイル 読み込みでは RAID-Z が単純なストライピングである SVM RAID-0 の倍近く の性能を出しています。ZFS の Intelligent Prefetch が効いているので しょうか。

これだけを見ていると ZFS の性能に驚くばかりですが、大きなファイルを 読み書きするだけがファイルシステムではありません。様々なシステムで利用 されるに従い、現在もさらに Tuning 作業が続けられているようです。ただ、 上記データから分かる通り X4500 のハードウェアとしての素性はスペックに 違わず非常に良いようです。使ってみてますます X4500 への期待が高まり ました。


投稿されたコメント:

はじめまして。
興味深く拝見させていただいています。
Disks 6というのは、HDD6台を1つのRAIDの組として使用したということでしょうか?

48台全部をRAIDとして使用したら、もっと性能でるのか、メモリーやCPUのバンド幅がボトルネックがどのへんなのか興味があります。

Posted by ORI on 9月月 25日, 2007年 at 11:15 午前 JST #

48本のディスクは 6ポートの SATA-II (3 Gbps)で接続されるのでトータル 18 Gbps まで出るようです。X4500 アーキテクチャドキュメントにいろいろ載っていますので是非ご一読ください。
http://www.sun.com/servers/x64/x4500/arch-wp.pdf

Posted by masahiko on 9月月 26日, 2007年 at 05:54 午後 JST #

なるほど、ブロックダイアグラムにバスのバンド幅まで描いてあるのですね。
参考にさせていただきます。

どうもありがとうございました。

Posted by ORI on 9月月 26日, 2007年 at 06:21 午後 JST #

コメント
  • HTML文法 不許可