주제를 바꾸어

최근까지 고성능 컴퓨팅(HPC) 분야에서는 Sun을 찾아보기가 힘들었습니다. 2001년으로 돌아가봅시다. 당시 우리는 HPC에서 P를 만들어내는 방법을 잃어버렸습니다. 성능을 원하는 고객들은 더 이상 소수의 대형 시스템(Sun의 기존 전문 분야)을 눈여겨보지 않았습니다. 이들의 관심 분야는 다수의 소형 시스템, 즉 클러스터였습니다. 그리고 2001년에 우리는 여기에 관심이 없었습니다.

하지만 지난 5년간 우리는 이러한 상황을 바꾸기 위해 투자를 했습니다. Galaxy 및 Niagara 제품군은 Sun에서 가장 빨리 성장하는 제품입니다. OpenSolaris는 소형 시스템에서 인기를 얻고 있습니다. 우리는 컴파일러 최적화와 언어 혁신이라는 두 마리 토끼를 잡고 있습니다. 모두 극한의 효율성/성능에 초점을 맞추고 있습니다. 시장에 재진입할 시간이 주어진다면, 지금이 바로 그때입니다.

경쟁자를 모방하는 대신, 우리는 세상에서 가장 큰 HPC를 설치할 때 어떤 문제점과 어려움에 직면하게 되는가를 조사하기 시작했습니다. 성능이 주요 우선순위인 것은 분명했습니다. 하지만 그 밖에도 고려할 요소가 있었습니다. 이것은 단자함에 PC 세 대를 클러스터로 연결하려는 경우에는 해당하지 않는 이야기입니다.

하지만 3-4백 대의 컴퓨터로 클러스터를 구성하는 경우라면 문제가 꽤 복잡해집니다. 잠깐만 생각해봐도 열을 배출하고, 충분한 전력을 공급하고, 소프트웨어 업그레이드 및 하드웨어 오류를 관리하는 문제 등을 들 수 있습니다. 그러나 노드가 3-4천 개라면 어떨까요? 갑자기 중량(바닥 하중)에서부터 광케이블의 굴곡 반경, 대량의 소프트웨어 설치와 관련한 문제, 심지어 컴퓨터실 내에서 데이터를 이동하는 속도에 이르기까지 모든 것이 중요하게 부각됩니다. 우리는 바로 이 극한적인 상황에 노력을 집중하기로 결정했습니다. 언젠가는 이것이 일반적인 상황이 될 테니까요(컴퓨터 업계에서는 흔히 있는 일이듯이 말이죠).

지난 며칠간 저는 학자와 애널리스트로부터 많은 피드백을 받았습니다. 그 중에 꼭 대답하고 싶은 의견이 하나 있습니다. 그것은 하이엔드 슈퍼컴퓨팅은 시장이 작고, 까다로우며, 이윤 폭이 매우 적다고 생각하는 사람들이 보내온 피드백입니다.

전적으로 옳은 말입니다. 하이엔드 슈퍼컴퓨팅의 시장은 작고, 까다로우며, 이윤 폭이 매우 적습니다.

또한 자유 소프트웨어 세계와 마찬가지로(오픈소스 커뮤니티에 판매를 해서 부자가 될 수는 없습니다), 극한의 HPC를 주도하는 학교와 연구소에 판매를 해서 이윤을 얻을 수는 없습니다.

중요한 것은 이윤이 아닙니다.

학교의 슈퍼컴퓨팅 커뮤니티(이 단어를 여기에서도 쓰게 되는군요)는 전 세계 엔터프라이즈 컴퓨팅의 속도를 결정합니다. 이들은 HPC를 가지고 바이러스, 질병, 신약 개발에서부터 고객 구매 패턴 분석, 자본 시장 거래, 에너지 탐사, 동적 리소스 관리에 이르는 현실적인 문제와 씨름합니다. 이것은 시장에서 가장 빠르게 성장하는 부문 중 하나입니다. 이는 그 시발점은 학계였으나 결국 주류 업계까지 확산했음을 입증합니다. 업계에서는 비약적인 규모와 성능을 가능하게 하는 혁신을 이해하기 위해 학교와 연구 기관에 주목합니다(리누스에게 물어보십시오. 그러고 보니 그가 아직 제 저녁 초대에 답장을 보내지 않았군요. 제 요리 솜씨 때문이 아니기를 바랍니다만).

우리가 발표한 것들

이번 주 초, 독일 드레스덴에서 우리는 Constellation System을 선보였습니다. 교육이나 상업 부문의 고객 누구든지 이 범용 빌딩 블록을 이용하여 수 테라플롭스에서 2페타플롭스 이상에까지 이르는 시스템을 구축할 수 있습니다. 이번 대규모 발표의 일환으로 우리는 몇 가지 구성 요소를 공개했습니다. 그 중 눈에 띄는 것은 ...

HPC 커뮤니티에서 OpenSolaris를 확산시키겠다는 약속입니다. 이것을 Linux와 결합하면 페타플롭스 규모의 시스템(초당 1,000조 번의 연산을 수행할 수 있습니다)을 위한 신뢰성 있고 유연한 플랫폼을 구축할 수 있습니다. OpenSolaris를 이끌어주는 장점은 무엇일까요? 대용량 메모리 구성에 대한 전설적인 지원, 통합 가상화, DTrace 및 ZFS 파일 시스템은 가장 큰 원동력일 것입니다. 하지만 ROCKS에 대한 지원 또한 무료/오픈소스이며 모든 서버에서 동작한다는 사실 덕분에 큰 도움이 됩니다. Solaris 팀은 HPC 분야의 성공에 높은 우선순위를 두고 있습니다. 이것은 우리와 우리 파트너들의 투자 분야이기도 합니다. (그렇다고 해서 Linux에 대한 지원을 줄이는 것은 아닙니다. 라이센스를 결합할 수 있다면 그 효과가 더 커질 것입니다.)

둘째로, 우리는 표준화된 I/O를 통해 AMD, Niagara 및 Intel의 모든 볼륨 마이크로프로세서를 지원하는 통합된 48 블레이드 랙(왼쪽 사진)을 공개했습니다. 우리는 또한 HPC 그리드 전용으로 설계된 신형 블레이드인 Pegasus를 발표했습니다. 안전벨트도, 불필요한 옵션도, 아무 것도 없습니다. 오직 컴퓨팅 성능만을 추구합니다.

셋째로, 우리는 Magnum 프로젝트(오른쪽 사진)를 발표했습니다(이것이 가장 중요합니다). 이것은 대용량(3,456포트 - 이 수치의 의미를 알려면 여기를 클릭하십시오)의 Infiniband(IB) 스위치로 케이블 1톤(실제로는 3톤), 중량, 비용 및 대부분의 슈퍼컴퓨팅 설비에 부담을 지우는 레이턴시 문제를 줄여줍니다. 수석 설계자인 Andy Bechtolsheim이 이끄는 탁월한 시스템 팀 덕분에 가능해진 이번의 혁신을 통해 고성능의 컴퓨팅이 필요한 이들이 복잡성과 비용 문제에 시달리지 않게 되었습니다. 오늘날 업계에서 가장 경쟁력 있는 IB 스위치는 288포트입니다. 이것을 Magnum과 경쟁시키려면 한두 대로는 어림도 없겠죠(물론, 장비 대수가 늘어나면 지원 노드, 케이블 및 복잡성도 그에 따라 급증합니다). 규모가 중요한 업계에서 우리는 물러서지 않습니다. (우리는 Magnum을 경제적 측면에서 고려하면 약 420노드에 해당할거라 예상합니다. 그러니 웬만한 그리드를 구축하고 있다면 Magnum 만으로도 충분합니다.)

우리의 생각은 학교나 상업적 환경에서 슈퍼컴퓨터를 구축하는 비용과 복잡성을 적어도 2내지 3분의 1로 줄일 수 있다는 것입니다. 범용 시스템, 그리고 규모의 경제학을 가지고 상업적 활용이 시작되고 있는 시장으로 돌아가겠다는 것입니다. Constellation System은 아래와 같은 첫 번째 그림에서 벗어날 수 있게 해줍니다.

여기에다 엄청나게 단순하게, 가볍고, 관리/유지보수하기 쉬운 페타플롭스급의 HPC를 설치하는 것입니다.

3톤이나 더 가볍고 구축 비용이 3배 더 저렴하며 케이블은 아주 조금만 있으면 되는 데다 관리도 아주 간단합니다. 게다가 최대 2페타플롭스의 성능이라면 최고의 체스 선수 바비 피셔(Bobby Fischer)도 누를 수 있을 것입니다.

Texas Advanced Computing Center(TACC)에 설치된 우리 시스템의 세부 사항에 관심이 있는 분들이 있을 것입니다. 시스템 사양은 다음과 같습니다.

연산 속도: 약 500 테라플롭스/초
Magnum: 2(각 >2000 4xIB포트, 6,912포트로 확장 가능)
Thumper: 72(1.728PB)
메타데이터 스토리지: STK6450 RAID(9.3TB)
테이프 스토리지: STK SL8500
스토리지/데이터 관리: SAM/QFS
랙: 82
IB NEM: 328
Pegasus 블레이드: 3936
총 메모리 용량: 123TB
코어 개수: 62,976

총 랙 대수: 94
예상 면적: 620㎡
예상 전력: 2.4MWatts
IB 케이블 길이: ~14km

전체적으로 보면 이 컴퓨팅 설비는 NBA 농구 경기장의 절반 크기에 해당합니다. 물론 작은 크기는 아닙니다. 사실 지구상에서 가장 큰 설비일 것입니다.

그리고 우리가 포트 수를 왜 3,456으로 정했는지 궁금한 분은 다음을 읽어보십시오.

____________________________

메시지 시작:
보낸 사람: Andreas Bechtolsheim
보낸 날짜: 2007년 6월 28일 오전 06시58분59초 PDT
받는 사람: Jonathan Schwartz
참조: John Fowler
제목: 3,456

우리는 5단 구조를 구현하고 24포트 스위칭 요소를 장착합니다.
포트의 최대 개수는 n*n/2*n/2 또는 24*12*12 =3456입니다.

오늘날 시장의 다른 Infiniband 스위치는 3단 구조입니다.
이들은 n*n/2 or 24*12 = 288포트가 됩니다.

그렇다면 5단 3,456포트 스위치를 구축하려면 288포트 스위치가 12개 필요합니다.
그리고 24포트 leaf(노드가 없는) 스위치는 288개가 필요합니다. 박스는 300개가 필요하게 됩니다.
약 456U의 랙 공간 또는 12개의 랙, 그리고 6912개의 케이블이 필요합니다.
우리는 더블 랙 하나와 케이블 1152개면 됩니다. 그러니까 공간도 6분의 1,
케이블도 6분의 1, 중량도 6분의 1이면 충분합니다.

2007년 6월 28일 오전 6시 36분, Jonathan Schwartz 작성:

그런데 왜 3,456포트일까요?

----------------------------

마지막으로, 1시간 안에 슈퍼컴퓨터를 맛보고 싶다면 network.com을 방문해보십시오. 우리는 지난 6개월간 엄청난 발전을 이룩했습니다.

Posted on 12:00오전 6월 28, 2007 |

Share this post  | | | | | |