Sangpill Kim's Blog

지난 11월 21일~23일에 서울 여의도 63빌딩, 삼성동 COEX, 상암동 LG CNS 데이터센터 등지에서 썬의 블랙박스 투어가 있었습니다. 블랙박스라는 썬의 제품을 실제로 전시하고 체험 할 수 있도록 하는 마케팅 행사였습니다. 저를 비롯한 한국 썬의 젊은 직원들이 맨 인 블랙 컨셉으로 차려 입고 찾아오시는 분들께 프로젝트 블랙박스가 무엇인지, 어떤 장점을 가지고 있는지, 어디에 쓰이게 되는지 등을 설명하는 일을 했지요. 오늘은 한국 블랙박스 투어에서 제가 했던 이야기를 블로그에서 다시 해볼까 합니다.

가장 잘 생긴 청년이 저입니다.

1.블랙박스는 무엇인가?

썬의 블랙박스

블랙박스는 세계 최초의 가상화된 데이터 센터입니다. 서버 랙, 전원, 네트워크, 냉각, 항온, 항습, 항진장치 등 데이터 센터에서 필요로 하는 모든 기능들을 20인치 표준 컨테이너 안에 모두 갖추어 데이터 센터 자체를 가상화한 것이지요.

블랙박스의 자세한 이미지는 아래 링크에서 보실 수 있습니다.
https://photos.sun.com/page/1182
https://photos.sun.com/page/1183

자료에 따르면 한국에는 중소규모를 포함해 약 400여 개의 데이터 센터가 있다고 합니다. 기업에서 자체적으로 운영하는 데이터 센터들을 포함하면 거의 한국 내 기업의 수만큼의 데이터 센터가 있겠지요. 이러한 데이터 센터에서 최근에 가장 이슈가 되는 것이 무엇일까요? 바로 공간과 전력의 문제입니다.

국내 대표적인 IDC를 몇 곳을 꼽아보자면 서울 서초동 하나로 IDC의 경우 약 2만대, KT의 목동 IDC는 약 3만대, LG데이콤의 논현동 IDC는 약 3만대 정도되는 서버가 설치되어 있다고 합니다. 모두 1RU(Rack Unit) 크기의 가장 작은 서버라고 가정하여도 서버 랙만 1천대 가량이 필요하고, 이 서버와 연결된 네트워크 장치, 스토리지 장치 및 이 서버들을 운용하기 위한 각종 전원 장치, 전원 보조 장치, 냉각 장치 등을 포함하면 데이터 센터는 기본적으로 거대한 빌딩 규모가 됩니다.

또한 전력 문제는 어떤가요? 기본적으로 서버에서 사용하는 전력량 자체가 많은 데다가 이를 냉각하기 위한 냉각 비용 또한 엄청나서 KT의 목동 IDC 정도 규모의 데이터센터를 4개 운영하는데 소요되는 전력은 충주시가 사용하는 전력과 맞먹는다(한국일보 기사참조)고 합니다. 또한 IT 시장조사 전문 기관인 IDC에 따르면 서버의 운용 및 냉각에 들어가는 전력비용이 점차 증가하여 약 2011년부터는 이 비용이 기업의 신규 서버 도입 비용을 초과할 것이라고 합니다.

프로젝트 블랙박스는 20인치 표준 컨테이너 내에 데이터 센터를 가상화함으로써 작은 공간에 서버를 집적해 설치함으로써 공간을 절약하고 냉각의 효율성을 높임으로서 전력 사용을 감소시킬 수 있는 매우 혁신적인 기술입니다.

2. 블랙박스가 제공하는 기능

 

블랙박스는 ISO 표준 20인치 컨테이너 내게 40RU 표준 랙 8개가 내장되어 있어 320RU (8 * 40RU)의 공간을 제공합니다. 이 가운데 1대의 랙은 네트워크 및 컨테이너의 전력 분배, 냉각, 센서 등을 담당하는 매니지먼트 랙으로 사용하므로 실질적으로 280RU 정도의 공간을 제공하게 되는 것입니다. 이 정도의 공간이면 Sun Blade 8000 시스템 및 X2200 시스템 기준으로 약 700개의 CPU, UltraSPARC T2 프로세서 장착 서버 기준으로 2240개의 코어, 17920 개의 쓰레드를 제공하며, SunFire X4500 (Thumper라는 코드명을 가진 스토리지+서버 통합 장비입니다.) 기준으로 약 3 페타바이트의 스토리지 공간을 제공할 수 있습니다. 이 정도의 컴퓨팅 파워를 HPC(High Performance Computing)로 구성한다고 하면 약 4.5TFlops 성능의 컴퓨팅 파워로 단 두 대 정도의 블랙박스 장비만으로도 Top500 (http://www.top500.org)의 리스트에 오르는 HPC를 구성할 수 있습니다. 

 

블랙박스의 내부 모습입니다.

블랙박스는 또한 파워, 냉각, 각종 센서, 보안 등의 일반적인 데이터 센터가 가져야 할 기능들을 모두 제공합니다. 이와 관련하여 블랙박스의 하드웨어의 스펙을 정리해 보았습니다.

Overview Physical - Dimensions: 6.06 m(L), 2.59 m(H) , 2.44 m(W) - Weight: < 14,422 kg, maximum weight Capacity - Number of racks: 8 (1 network + 7 general purpose equipment) - Space per general purpose rack: 40RU Incoming power - 2 feeds, each 190-220 VAC, 3 phase, 600 amps, each feed services 2 plugs per rack (4 total) OR - 2 feeds, each 380-415 VAC, 3 phase, 300 amps, each feed services 2 plugs per rack (4 total) Cooling - Up to 25 kw per rack with 60 Ton chiller (Estimated, please consult with local HVAC contractor) - 12,5kw standard, 25 kw optional - 18C-22C(degrees Centigrade) and a flow rate of 170 lpm- 245 lpm(liters per minute) - These values need to be determined based on the payload equipment. - Below 18C may cause condensing depending on chiller configuration and/or ambient temperature and humidity. - 20psi pressure drop per Project Blackbox Environmental - Outside air temp range: -29C - 54C / -20F - 130F. - Shock load: 152mm drop at up to 4 G tested Basic install requirements Pad/location - Location should be flat and if outside with appropriate drainage Power - Generator, facility, or both - External UPS, if desired. (No UPS in Project Blackbox.) Cooling - Chiller, facility cooling, or both Network/connectivity - Ethernet (RJ-45) Fibre LC (single and/or multi mode), bulk cables option. Site security - Physical security should be provided base on company's security policy. Typical Entry/exit Locks on exterior door locations - 3 pad locks on each end of container Placement is one on each door and one at bottom Re-lock on doors prior to entering – ensure locks are not misplaced and no one can be accidentally locked inside Service access tool for interior doors - Use the bank vault like key and then return to storage on container door Rear air plenum door Cooling system Closed loop air flow path - Air flow is in a circular clockwise motion within the container Water lines - Located at lower edge of container on both sides and loop across top/front of container. Flex lines run to each heat exchanger Heat exchangers (HX) and Fans - 8 total, 1 per rack. Fans push air through HX cooling it before entering front of compute equipment. Heated air exhausted at back of equipment is cooled by next HX unit Air filters - Standard air filter are located behind rack #4 (right rear) to remove dust and debris from air flow path Electrical system 4ea 60amp plugs per rack (2 per power feed) Note: Tour unit only has 2 plugs per rack Main breakers - Located at rear of container. Primary and secondary feeds each have 300 or 600 amp main breakers along with 60 amp breakers for each rack Redundant power inputs - Located below external access panel – plugs or conduit for both primary and secondary power feeds Control systems EPO/Alarm Sensor network - door alarms - water on floor - coolant flow/temp - internal temperature across HX units - fire/heat, - GPS/movement - internal/external humidity - chiller alarm input - facility alarm input Fan control box - 1 per rack and controls all 10 fans per HX bank. Determines RPM and air flow Fire Suppression System - Inert Gas (not halon) Dehumidifier Unit - Cycles as needed and drains to front floor drain Connectivity 8 ports per input box (1 on each side) - 8 RJ-45 OR 8 LC fibre OR 4 RJ-45+4 LC fibre per side Compute racks Skids/helical springs - Designed to handle 152mm drop at 9 G's - Unbolt front cleat only for servicing Top locating pin - Limits X,Y,Z movement of rack when in transport - Remove for servicing Rack service tool - Slide under unbolted rack, move lever, pull out rack with 2 people for safety - Next gen tool will have mechanism to move rack in/out and up/down service aisle Articulated cable tray arm - Keeps all cables moving with the rack to avoid pinch damage or disconnection

랙 당 공급하는 전력이 25KW로 일반적인 데이터 센터에서 평균적으로 랙 당 6KW 정도의 전력을 공급하는 것에 비해서 훨씬 많은 전력 공급 능력을 갖추고 있고, 이동형 데이터 센터의 컨셉에 부합하게 영하 29도에서 영상 54도까지 외부 온도의 변화에도 잘 견디고, 매 랙마다 바닥에 충격 흡수 장치를 갖추는 등 뛰어난 내진 설계로 진도 6.7 정도의 강한 지진에도 견딜 수 있습니다. (지진테스트 영상을 http://kr.sun.com/blackbox/ 에서 보실 수 있습니다.)

또 재미있는 기능 중의 하나는 GPS 가 장착되어 다음과 같이 구글 맵 등과 연동하여 위치 추적 서비스를 제공한다는 것입니다. 블랙박스 한국 투어 행사 중 가장 재미있는 질문 가운데 하나가 ‘누군가 외부에 설치된 컨테이너를 통째로 훔쳐가면 어떻게 하느냐?’라는 질문이었는데 서버 장착 시 수 톤에 이르는 무게의 컨테이너를 쉽게 훔쳐갈 수도 없을 뿐더러 훔쳐가도 걱정 없습니다. 실시간으로 위치가 추적되고 있으니까요. :)
 

3.블랙박스의 장점

블랙박스의 장점은 빠른 설치, 공간 절약, 에너지 효율성, 이동성과 유연성 정도로 요약될 수 있습니다.

빠른 설치

블랙박스는 ‘Build once, Deploy anywhere’의 모토를 가지고 있습니다. 일반적인 데이터 센터는 구축을 위해서는 건물 자체를 지어야 하고, 케이블링 및 전력공급을 위한 바닥 공사, 냉각 설비 공사 등을 추가적으로 하여야 하므로 구축 시간이 매우 많이 걸리는 반면에 블랙박스는 주문 후 배송되는 시간 또는 기존에 보유하고 있는 블랙박스를 이동하는데 걸리는 시간만 필요하기 때문에 기존에 데이터센터를 구축하는데 비해 약 1/10 이하의 시간이면 설치가 가능합니다. 블랙박스가 표준 컨테이너를 이용하여 만들어져 있는 것도 이동, 운반, 선적이 매우 쉽기 때문이겠지요.

컴퓨팅 파워가 빠르게 요구되는 곳이 있습니다. DR(Disaster Recovery)센터를 구성하거나 특정 시점에 트래픽이 집중적으로 발생할 것이 예상되거나 하는 경우가 대표적이겠지요. 이런 곳에 블랙박스가 최적의 솔루션이 될 수 있습니다.

공간 절약

앞서 말씀 드렸듯이 현재 데이터 센터에서 최대 현안 가운데 하나가 바로 공간 문제입니다. 일반적인 데이터 센터는 냉각을 위한 공기 흐름 및 작업공간, 이동통로, 서버 구분 표시 등으로 랙을 조밀하게 설치하는 것이 어렵습니다. 하지만 블랙박스는 컨테이너 내에 랙과 냉각 설비 등을 함께 통합함으로써 일반적인 데이터 센터에 비해 약 1/8 정도로 공간을 절약할 수 있습니다. 공간 당 컴퓨팅 파워의 척도로 블랙박스 대 일반 데이터 센터가 약 ~1250W/sq ft. vs. 150W/sq ft. 까지 차이가 난다고 하는군요.

이렇게 작은 공간에 서버를 집적하는 것은 냉각과 파워 공급, 케이블 등의 문제가 있기 때문에 결코 쉬운 일은 아닙니다. 썬의 기술력이 십 분 발휘된 부분이지요. 사실 이동형 데이터 센터에 관한 아이디어 자체는 다른 하드웨어 벤더 또는 다른 기업들도 가지고 있습니다. (얼마 전 Google에서는 이동형 데이터 센터에 관해 특허를 신청해서 썬과 특허 논란이 있기도 했지요.) 하지만 이를 실제로 구현한 곳은 현재는 썬 밖에는 없습니다. 썬에서 최근 출시한 Intel CPU를 장착한 X4150(1소켓), X4450(4소켓) 등의 서버도 동일한 레벨의 타사 서버에 비해서 절반의 RU 밖에 차지하지 않는 공간 효율성이 가장 뛰어난 장점을 가지고 있는데 썬의 뛰어난 하드웨어 아키텍쳐 설계 능력이 드러나는 부분이라고 할 수 있겠습니다.

에너지 효율성

작은 공간에 서버를 집적할 수 있는 것은 뛰어난 냉각 효율 덕분입니다. 블랙박스는 공냉식 냉각과 함께 수냉식 냉각을 채택하여 냉각 효율을 최대화하고 있습니다. 물은 공기에 비해서 3500배 많은 열용량을 가지고 있어 냉각 시 수냉식이 공냉식에 비해서 훨씬 좋은 냉각 효율을 갖는데, 블랙박스는 데이터센터의 냉각 자체를 수냉식으로 하고 있습니다.

아래 그림은 블랙박스의 냉각 시스템을 설명하고 있는 그림입니다.

 

썬 서버는 Front to Back의 공기흐름을 가지며 쿨링이 되는데 이와 같은 방향으로 블랙박스 내 8대의 랙 전체에 걸쳐 Front to Back의 방향으로 공기흐름이 이루어지고 있습니다.

컨테이너의 양쪽에 각가 10개의 팬에 의해서 공기 순환이 이루어지고 있습니다.

이렇게 공기에 의해 1차 냉각이 이루어지고 각각의 랙마다 양 쪽에 HX(Heat Exchanger)라고 불리는 열교환기가 있어 냉각수에 의한 냉각이 이루어지게 됩니다. 냉각수를 순환시키고 열을 바깥으로 방출할 수 있도록 하는 쿨러에 해당하는 장치인 칠러(Chiller)는 다음과 같이 블랙박스 외부에 위치하고 있습니다.

연구(http://www.energystar.gov/ia/partners/prod_development/downloads/EPA_Datacenter_Report_Congress_Final1.pdf)에 따르면 IT Load  1W당 Cooling Load가 일반적인 데이터 센터의 경우는  65W에 이르는데, 블랙박스의 경우는 38W로 냉각 비용을 약 40%까지 절감할 수 있다고 합니다.

블랙박스는 기본적으로 검은 바탕에 녹색으로 썬 로고 및 각종 글씨가 씌여 있는데, 여기서 검정색은 블랙박스를 나타나기 위한 색이고 녹색은 썬의 친환경적인 기술을 표현하는 색입니다. 블랙박스 서울 투어 중에도 저희가 입고 있는 맨인블랙 복장과 블랙박스의 색깔에 대해서 질문이 있었는데, 녹색은 블랙박스의 뛰어난 냉각 효율로 인한 에너지 절약성 즉, Eco를 상징합니다. (물론 실제 설치 시에는 빛의 흡수로 인한 열 문제로 인해 흰색 바탕색으로 설치가 되곤 합니다.)

한국 썬의 에코 전도사로 통하는 심명종 상무님 (http://blogs.sun.com/mjsim/)의 블랙박스 에너지 효율성에 대한 멋진 비유를 그대로 인용합니다.

“여러분의 식구가 네 명이라고 가정합니다. 모두 섭씨 36.5도의 열원(heat source)이면서 동시에 정교한 컴퓨터입니다. 무더운 여름의 경우, 인간(컴퓨터)은 온도가 높아지면 위험합니다. 여러 분이 17평 아파트에 사시면 자그마한 에어컨으로 온 식구가 쾌적하게 보내실 수 있습니다. 70평 아파트로 이사하시면 거대한 에어컨(비싸고 전기를 많이 먹는)이 필요합니다. 네 명 식구가 비슷하게 시원하기 지내기 위해서 말입니다. 블랙박스는 잘 짜여진 17평 아파트입니다”

이동성과 유연성

‘Build once, Deploy anywhere’의 모토와 함께, ‘Anywhere you want it, you got it’을 가능하게 해줍니다. 표준형 컨테이너 구성으로 인해 블랙박스는 컴퓨팅 파워가 필요한 어느 곳이든 옮겨 다닐 수 있습니다. 컨테이너선에 선적되어 또는 컨테이너 트럭에 실려서 말이죠.

블랙박스의 빠른 설치와 이동성은 데이터센터에 유연성을 부여합니다. 데이터센터는 한 번 구축하면 수년 또는 십 수년까지 장래의 수요를 예측하여 구축되어야 하기 때문에 초기에 대규모로 구축하여야 합니다. 이는 많은 초기 설비 비용을 유발하는데, 설치 초기의 데이터 센터는 공간과 설비가 모두 이용되고 있는 것이 아니기 때문에 초기의 잉여 설비 비용은 모두 불필요한 낭비가 됩니다. 또한 컴퓨팅 파워의 수요가 무어의 법칙을 넘어 급격하게 증가하고 있는 이 시점에서 장래의 컴퓨팅 파워에 대한 수요예측이 잘못된 경우라면 데이터센터를 쉽게 확장할 수 없으므로 기업입장에서는 컴퓨팅 파워의 부족을 겪게 됩니다. 블랙박스를 사용하는 경우라면 컴퓨팅 파워가 필요할 때마다 컨테이너를 1대씩 추가하면 되기 때문에 초기 설비투자의 낭비나 잘못된 수요예측으로 인한 컴퓨팅 파워의 부족을 겪지 않을 수 있습니다.

블랙박스의 도입으로 초기 도입 비용의 증가로 인한 낭비를 막을 수 있습니다.

 

4.블랙박스의 용도

블랙박스는 물리적으로 데이터 센터의 설치가 불가능한 장소,  빠르게 컴퓨팅 파워가 필요한 곳 또는 임시적으로 많은 컴퓨팅 파워가 필요한 곳에 사용될 수 있습니다.

현재 블랙박스의 해외 구축사례로 스탠포드 선형가속기센터(Stanford Linear Accelerator Center) HPC, 러시아 모바일텔레시스템(MTS, Mobile TeleSystem) Billing System, 썬 본사의 Sun HPC Grid 등이 있는데요. 이 경우는 모두 건물 내에 데이터센터를 마련할만한 공간적 여유가 없어서 실외에 설치된 경우입니다. 이렇게 기존 형태의 데이터센터를 구축하는 것에 비해서 블랙박스 형태의 데이터센터를 구축하면 비용 상으로 약 90% 정도를 절감할 수 있다고 하는군요. 재미있는 것은 러시아에 구축된 경우인데요. 영하 29도부터 54도까지 동작 온도를 자랑하는 블랙박스 답게 러시아의 맹추위에서도 실외에서 잘 동작하고 있습니다. :)

최근에 매우 재미있는 프로젝트가 일본에서 진행 중인데요. 폐광의 갱도를 이용하여 지하에 블랙박스를 이용하여 데이터센터를 구축하는 프로젝트입니다.(http://www.computerworld.com/action/article.do?command=viewArticleBasic&articleId=9047478) 지하의 경우 약 섭씨 15도 정도로 일정한 기온이 유지가 되기 때문에 냉각 비용이 50% 가량으로 크게 줄어드는 이점이 있어 지하 데이터센터 프로젝트를 추진하고 있다고 합니다. 약 4천억원 예산으로 진행되는 이 프로젝트에 블랙박스는 30대가 투입되고 2010년 공공 및 민간에 서비스 계획이라고 합니다.

한국에서는 블랙박스 투어 이후 미디어 등을 통해 블랙박스가 소개된 이후 관심을 보이는 곳이 늘고 있는데, 기업의 IT 투자 계획이 지연되고 데이터센터 건립에 대한 상부의 결재가 수 년째 미뤄져 전에 설계한 데이터센터가 지금에 와서는 무용지물이 되어버린 한 기업의 IT부서 등에서 관심을 보이고 있다고 합니다. 물론 데이터센터를 구축하려면 건물을 지어야지 컨테이너가 왠 말이냐는 것이 상부의 반응이겠지만요. :/

5.FAQ

블랙박스에 관한 일반적 FAQ 및 한국투어 중 FAQ로 글을 마무리합니다.
(... Update 예정...)

--------------------------------------

블랙박스에 대해 더 자세히 알고 싶으신 분들은 아래 사이트를 참고하세요.

블랙박스 홈페이지 : http://www.sun.com/blackbox/
블랙박스 한글 홈페이지 : http://kr.sun.com/blackbox
블랙박스 블로그 : http://blogs.sun.com/blackbox/
블랙박스 한국투어 사진 : http://picasaweb.google.co.kr/hjyang27/ProjectBlackboxInSeoul