세계에서 가장 큰 수퍼컴퓨터

저는 허블(Hubble) 망원경이 과거의 120억 년까지만 볼 수 있다는 사실을 전혀 몰랐습니다.

미국항공우주국(NASA)과 유럽우주국(ESA)이 주축이 되어 개발한 우주망원경으로 대략 5억 년이 지난 시점부터 우주의 중심에서 초속 18만 6000마일의 속도로 이제 막 지구에 도착하기 시작한 빛까지 포착할 수 있습니다.

솔직히 말씀 드리자면 UCSD의 연구원인 마이클 노만 박사로부터 천문학에 대한 기초적인 교육을 받기 전까지는 망원경이 과거를 본다는 것조차 몰랐습니다. 노만 박사는 하늘에 떠 있는 별들이 우리 눈에 보이기까지는 수십 억 년이 걸리며, 따라서 현재 허블을 통해 이들의 수십 억 년 전 모습을 지켜보고 있는 것이라고 설명해 주었습니다. 하지만 지금은 과거의 120억 년 전까지만 볼 수 있으며, 노만 박사는 이 한계를 뛰어넘고 싶다고 말했습니다. (그는 자신의 직업이 "우주를 시뮬레이션하는 일"이라고 말했습니다. 정말 그럴 듯하지 않나요?)

노만 박사는 숨겨진 17억 년에 대한 궁금증에 대한 해답을 얻고 싶어했습니다. 우주의 나이는 약 137억 년 정도 되었는데 허블은 120억 년 전까지만 볼 수 있기 때문입니다. 따라서는 그는 오스틴 TACC(Texas Advanced Computer Center)에 있는 텍사스 대학의 세계에서 가장 큰 수퍼컴퓨터인 레인저(Ranger) 플랫폼을 사용하여 잃어버린 17억 년을 시뮬레이션하고 있었습니다. (나중에 그는 이전의 15억 년에 대해서 가장 관심이 많다고 털어놓았습니다. 그 이유는 최초 2-3억 년은 별들이 탄생하기 이전 단계로서 우주가 주로 수소 안개로 구성되어 있었기 때문이라고 설명해 주었습니다.)

저는 레인저의 개방을 축하하는 기조 연설을 맡아 줄 것을 부탁 받았습니다. 그리고 방금 들려드린 이야기는 세계에서 가장 큰 개방형 컴퓨팅 플랫폼에서 수행될 기초적인 연구 및 과학의 한 예일 뿐입니다. 여기서 말하는 개방이 어떤 의미의 개방인지 궁금하실 것입니다. 이 시설은 국립과학재단(National Science Foundation)으로부터 자금을 지원받고 있으며, 미국 내 모든 연구원과 과학자가 대형 수퍼컴퓨팅 서비스를 이용할 수 있는 길을 열어줄 것입니다(제안서를 제출하려면 클릭). 레인저는 처음부터 끝까지 썬을 기반으로 합니다. 잠시 전문적인 통계를 살펴보면 다음과 같습니다.

• 약 6,000평방피트의 데이터센터 공간에서 3메가와트 미만의 전력 소비
• 4000개가 넘는 쿼드코어 썬/옵테론 블레이드, 120+Tb DRAM, CentOS 실행
• 500테라플롭이 넘는 컴퓨팅 용량 제공
• 썬 그리드 엔진(Grid Engine)에서 작업 예약
• 두 개의 100테라비트 비차단 매그넘 스위치로 상호 연결(혹은 옵션)
• 썸퍼(Thumper)의 러스터(Lustre) 파일 시스템에서 데이터 관리
• 2페타바이트 이상의 스토리지
• 계층형 데이터 관리 SAM-FS 제품으로 관리하고 썬 테이프 플랫폼에 보관
• xVM OpsCenter(세계에서 가장 큰 규모)에서 전체 시스템 관리 및 모니터링

시설 및 내부 기술을 구축하기 위해 엄청난 양의 엔지니어링 작업이 이루어졌고, 이제 썬은 전 세계적으로 이를 보다 크고 작은 개방형 및 상용 설치 작업에서 재현할 수 있습니다. 정부 및 연구 시설 외에도 전 세계의 여러 산업이 단순한 과학적 시도 차원에서가 아닌, 사업상의 이점을 얻기 위해 고성능 컴퓨팅으로 전환하고 있습니다. 이 시스템의 전력 소비는 몇 년 전에 필요했던 전력 예산의 일부분에 불과하므로, 지구상에서 가장 친환경적인 수퍼컴퓨팅 시설 중 하나입니다.

레인저가 실제로 얼마나 중요한 역할을 하고 있는지 확인하려면 이 차트를 살펴보십시오(라이브 버전은 여기를 클릭).

레인저는 국립과학재단의 다른 모든 슈퍼컴퓨팅 시설을 합친 용량을 능가합니다. 텍사스에서 크다고 할 정도면 정말 큰거니까요.

국릭과학재단 사이버인프라실장은 축하 연설 도중, 컴퓨터 시뮬레이션이 이제 과학 탐구 영역의 한 분야로 인정받고 있다고 이야기했습니다. 마약 탐지, 기상 모델링, 유체 역학, 우주 시뮬레이션, 전염병학, 그리고 재료과학에 이르기까지 이와 같은 수준의 시설로 이룰 수 있는 과학 혁명은 미국뿐만 아니라 전 세계에서 널리 찾아볼 수 있습니다. 오늘 날짜로, 이미 500개가 넘는 연구 프로젝트가 레인저를 활용하며 세상을 바꾸고 있습니다. 레인저는 NSF 테라그리드(Teragrid)에 소속되어 있으므로, 연구 결과는 전 세계에 공유될 것입니다. 개방은 말 그대로 개방을 의미합니다. TACC의 책임자인 제이 브와소는 처리할 수 있는 양(이들은 매년 5억, 분기당 1.25억 정도의 CPU 시간을 활용할 수 있음)보다 너무나 많은 요청이 쇄도하여, 곧 신청을 마감해야 할 위기에 처해 있다고 털어놓았습니다. 제이와 노만 박사 같은 사람들의 입장에서는 잉여 자원을 통합하는 대부분의 기업 컴퓨팅과 달리, 용량의 증가가 곧 처리량의 증가를 의미합니다(그레그가 주장하는 적색 편이 이론의 핵심).

레인저는 어떻게 만들어졌을까요? 텍사스 대학의 열정적인 단체인 국립과학재단의 기초 과학에 대한 열정과 제이가 이끄는 기술 팀, 뛰어난 실력을 갖춘 TACC 팀, 썬과 AMD 직원의 힘이 합쳐져 모두가 프로젝트에 열정적으로 참여, 기록적인 시간 안에 세계 최대의 개방형 수퍼컴퓨팅 시설을 완성했습니다. 그저 단순히 제일 큰 것이 아니라 두 번째로 큰 시설의 4배 규모에 해당합니다.

레인저는 학계, 산업 그리고 궁극적으로는 이 사회 전반을 변화시킬 것입니다. 무엇 때문에 그렇게 믿느냐고요?

연설 중에서언급했지만, 미국의 나이아가라 폭포 발전소가 미국 내 전체 전기의 30%를 공급할 때가 있었습니다. 레인저를 구축하는 데 사용된 엔지니어링과 기초 과학은 당시의 나이아가라 폭포 발전소에 사용된 것과 동등합니다. 나이아가라 폭포 발전소에 사용된 엔지니어링과 기초 과학은 근본적인 변화를 일으킨 연구 결과였습니다.

전기가 우리 사회를 바꾸어 놓았냐고 한다면, 당연히 그렇습니다. 우주의 최초 17억 년 동안 어떤 일들이 일어났는지를 알게 된다면 우리의 생활이 바뀌게 될까요? 아직까지는 알 수 없습니다. 그것은 노만 박사가 밝혀낼 일이죠. 그리고 썬과 AMD, 그리고 텍사스 대학 연구원은 그가 이에 대한 해답을 얻을 수 있도록 도와줄 것입니다. 썬이 이제 상용 시장에서도 범용적으로 사용할 수 있도록 만들 플랫폼을 통해서 말이죠. (처음에는 블로그 제목을 "흐릿한 컴퓨팅 세계의 구름을 헤치며"로 정했었는데, 이 제목은 제가 보기에도 좀 오버인 것 같더군요.)

__________________

(궁금하신 분들은 노만 박사의 컴퓨팅 천체 물리학에 대한 요약 설명을 읽어 보시기 바랍니다. 주목하십시오, 이제 전 세계에서 고성능 컴퓨팅을 통해 수행되는 대부분의 작업이...

...무료 개방형 소스 소프트웨어를 통해 진행될 것으로 예상됩니다.)

Posted on 12:00오전 3월 03, 2008 |

Share this post  | | | | | |