Jonathan Schwartz's Weblog : Weblog

« Previous month (Apr 2008) | Main | Next month (Jun 2008) »

화요일 6월 10, 2008

결코 한 순간의 섬광은 아니다

세상에는 두 종류의 스토리지 장치가 있습니다. 고장나는 장치와 고장의 가능성이 있는 장치입니다. 이것이 안타깝게도 대부분의 데이터센터가 기존의 "회전하는 쓰레기"라고 불리는 기계 장치에 대해 가지고 있는 견해입니다. 모든 디스크 드라이브는 결국 수명이 다하게 마련이지만 싸구려 드라이브는 그 속도가 더 빠르지요.

평균적으로 모든 드라이브의 수명이 5년이라는 전제 하에 여러분은 랩탑 컴퓨터를 가끔씩 백업함으로써 그 기간을 늦출 수 있습니다. 그러나 일반 기업이 개별 디스크 드라이브를 100개 또는 1000개, 1만, 10만 개를 보유한 경우에는 드라이브가 매 시간은 아니더라도 거의 매일 고장나는 것을 볼 수 있을 겁니다. 늘상 기계 장치는 고장나게 마련입니다.

그 다음에는 데이터를 잃게 될 수도 있습니다. 만약 CEO가 50만 달러를 절약하기 위해 일반 디스크를 사용했는데 데이터 보유 규정을 위반한 대가로 5천만 달러의 벌금을 지불해야 한다면, 그 디스크는 무용지물이 되어버립니다. 주식 거래, 의료용 영상 또는 상영 시간이 짧은 영화 등을 저장해 놓겠지요. 이중의 하나라도 완벽해야 합니다. 소수점이나 픽셀에 이상이 있어서는 안됩니다.

썬이 몇 년 전 스토리지 플랫폼인 ZFS를 발명한 이유가 바로 여기 있습니다. ZFS는 불안정한 부품으로 안정적인 시스템을 구현할 수 있습니다. ZFS는 지속적으로 잉여 컴퓨터 사이클을 이용하여 강력하게 무결성을 확인하며 데이터가 절대 훼손되지 않도록 합니다. 고객은 ZFS를 통해 저렴한 디스크와 간편한 시스템을 사용할 수 있고 데이터 무결성을 보장받으며 비용 및 복잡성을 대폭 줄일 수 있습니다.

그러나 이제 새로운 옵션이 나타났습니다. 많은 사람들이 사용하는 전화기 iPod 또는 디지털 카메라의 내장 메모리로 알려진 플래시 메모리가 바로 그것입니다. 플래시는 컴퓨터에 내장된 DRAM처럼 데이터를 매우 빨리 읽고 쓰지만, 가격은 DRAM보다는 저렴하고 기존의 디스크 드라이브보다는 비쌉니다. 그러나 이들과 다르게 플래시는 데이터 기억하는데 있어서 전력이 필요하지 않습니다. 또한 전 세계적으로 전력비가 대폭 상승하고 있는 지금, 1만 개의 디스크가 수천rpm으로 회전한다면 스토리지에 지불해야 할 비용이 오히려 전력에 낭비될 것입니다. 전력은 이제 대규모의 하드웨어 결정에 중요한 요소가 되었고 플래시는 업계를 뒤흔들 태세를 갖췄습니다.

예전부터 기업에서 플래시를 사용하는 데는 두 가지 장애가 있었습니다.

첫 번째는 비용입니다. 플래시는 기타 디스크 드라이브보다 기가바이트별 비용이 훨씬 비쌉니다. 그러나 전기 비용이 상승하면서(플래시 메모리의 가격은 하락), 플래시의 기가바이트별 상대 가격 수준이 빠르게 개선되고 있습니다. 디스크 드라이브를 사용하려면 전기가 필요하다는 것을 잊지 마십시오. 비록 아직까지는 디스크의 기가바이트별 비용이 플래시 메모리보다 저렴하다 하더라도, 플래시 메모리는 데이터를 읽고 쓰는 속도가 매우 빠르다는 장점이 있습니다. 따라서 기가바이트별 비용은 굉장히 낮을 수밖에 없습니다.

그러나 단순히 데이터센터 내 스토리지의 한 단계로서 플래시를 도입하는 것은 새로운 비용과 관리의 번거로움이 따르기 때문에 실질적인 기회라고 볼 수 없습니다. 업계에 변화를 가져오기 위해서는 플래시가 사용자 및 운영자 등에 투명한 방식으로 추가되어야 하며, 스위치나 운영 비용이 들어서는 안됩니다. 이것이 바로 ZFS의 특징입니다. ZFS는 플래시를 작동 시스템의 스토리지 체계에 투명하게 통합시키며 맨 처음에는 마이크로프로세서 캐시, 그 다음은 DRAM과 플래시 디스크 순서대로 이용하여 통합합니다(최종적으로는 테이프). ZFS는 플래시가 DRAM 및 일반 디스크와 결합하여 하이브리드 풀을 구성, 이를 ZFS가 이용하여 최상의 가격, 성능 및 에너지 효율을 달성할 수 있도록 합니다. 다시 말하면, 마이크로프로세서를 업그레이드하지 않고서도 스토리지 시스템과 서버 시스템의 속도가 대폭 상승할 것입니다. 플래시는 DRAM과 확장 방식이 유사하여, 일단 추가하기만 하면 별도 관리 없이 성능이 확장됩니다.

바로 이 점이 우리가 플래시를 선호하는 이유입니다. 플래시를 추가하면 기가바이트별 비용 (총 스토리지 운영 비용)이 크게 하락하며, 이는 특히 데이터 또는 성능이 중요한 응용 프로그램(MySQL, Postgres, Oracle 또는 SQL Server)에도 해당됩니다. 시스템이 올바르게 설계되면 플래시는 경제성과 성능을 대폭 향상시키는 데 기여합니다. 그리고 이와 함께 썬 xVM 하이퍼바이저를 사용하여 호스트 운영 시스템의 성능을 향상시킬 수 있습니다. (xVM에서 운영되면 Windows 운영자는 ZFS와 플래시의 통합으로 혜택을 얻을 수 있습니다.)

두 번째 문제는 조금 더 까다롭습니다. 한 마디로, 플래시 메모리는 무한정으로 데이터를 읽을 수 있으나 플래시에 수백만 번 이상 데이터를 쓰면 메모리 자체가 소모될 수 있습니다. 이제 대부분의 사람들은 디지털 카메라를 50만 번 이상 쓰지 않을 것 같네요. 그러나 기업에서는 다를 수 있습니다. 그러면 어떻게 해야 할까요?

또다시 ZFS가 해결에 나섭니다.

ZFS는 플래시 메모리를 기타 스토리지 매체와 비슷하게 다룹니다. 여기서 다시 한 번 상기시킵시다. 모든 스토리지 장치는 고장납니다. 그러나 그것이 저급 하드 드라이브 모터, 쓰기 성능 약화 또는 해머 드릴 등 어떤 원인에 의해 고장났건 간에 ZFS는 데이터 무결성을 유지합니다. "웨어 레벨링(Wear Leveling)" 알고리즘이 계속해서 정교해지는 동시에 플래시의 수명도 극대화되면서 쓰기 활동을 평준화함으로써 핫스팟 실패를 피할 수 있습니다. 그러나 제일 중요한 것은, ZFS의 경우 소모에 관한 문제는 존재하지 않는다는 점입니다.(하드 드라이브나 플래시는 결국 소모 제한이 있습니다.)

이것이 오픈 스토리지에 대한 썬의 시스템 접근 전제입니다. 썬은 ZFS, 플래시 메모리 및 하드웨어/실리콘 혁신을 통합하여 성능을 향상시키고 낮은 전력, 범용 스토리지 및 서버 어플라이언스를 목적으로 SPARC 또는 x86 시스템에서 구동되는 소프트웨어를 가속화할 예정입니다. (특히 MySQL 사용자는 뛰어난 구동성을 경험하게 될 것입니다.) 가격은 상업 NAS 스토리지의 일부에 불과합니다. 이제 썬의 첫 플래시 시스템이 향후 1년 동안 순항하는 모습을 기대하십시오.

그리고 바라던 대로, ZFS와 모든 기본 소프트웨어는 OpenSolaris, ZFS, MySQL, Postgres와 마찬가지로 상업 지원 없이 무료로 제공될 것입니다(LiveCD를 무료로 받으시려면 왼편의 이미지를 클릭하거나 Mac OSX에 내장되어 있는 Apple의 ZFS를 확인해보세요). 소프트웨어 수익은 썬의 지원이 업무에 중요한 기업을 통해 창출됩니다. 관련 하드웨어는 썬의 트라이앤바이(Try and Buy) 프로그램을 통해 파트너 또는 고객 모두 시스템의 60일 평가판을 주문할 수 있습니다. 만족하신다면 실 제품을 구매하십시오. 만족스럽지 않으시다면 반송비를 저희가 부담하겠습니다.

이 모든 것이 분명하게 다가오지 않으실지라도, 썬은 플래시가 결코 한 순간의 섬광은 아니라고 생각합니다. 전력 비용의 지속적인 상승과 플래시 가격의 하락으로 플래시, ZFS 및 진정한 시스템 혁신의 결합은 데이터센터 경제에 가상화보다 더 큰 영향을 미칠 것입니다.

그만큼 대단한 발견입니다.

업데이트: OEM 파트너로서 솔라리스(ZFS 포함)를 지원하는 기업에 Intel, IBM, Dell과 함께 또 하나의 기업 후지츠-지멘스(Fujitsu-Siemens)가 오늘 오전에 추가되었습니다. 모두 축하합니다...

Posted on 12:00오전 6월 10, 2008 |

월요일 6월 02, 2008

P7(G7이 아님)에서의 성장

실제적인 표준이 곧 사실상의 표준입니다.

이것은 기술 세계에서 너무나 당연한 이치입니다. 표준 단체와 법무부에서 의도적으로 표준을 정하기 위해 아무리 노력하더라도 결국에는 더 많이 배포된 것이 표준으로 정해집니다. 언제든지 정책 자체보다는 실제로 폭넓게 받아들여지는 내용이 표준으로 인정되기 때문입니다.

최근에 저는 세계 속의 빠르게 성장하고 있는 경제 지역(브라질, 러시아, 인도, 중국, 아프리카의 앞글자를 따서 "BRICA"라고 종종 칭함)에서 기술의 영향력을 논의하는 토론에 패널로 참가했습니다.

이 토론에서 발언자 중 한 명은 전통적인 미디어 업계에서 흥미로운 변화가 일어나고 있다고 말했습니다. 즉, 서방 회사들이 개발도상국쪽으로 시선을 돌렸다는 것입니다. GDP 성장도 중요하지만 이들의 주목을 끈 것은 바로 인구 수입니다. 세계적으로 10대와 20대 초반이 가장 큰 미디어 구매층입니다. 이들은 다른 연령층보다 자신의 소득에서 더 많은 부분을 음악, 영화, 엔터테인먼트에 소비하고 있습니다. 그리고 당연히 이러한 연령대는 인구가 밀집된 곳에 더 많을 수밖에 없습니다. 즉 미국, 영국, 독일이 아닌 BRICA에 더 많습니다. 이 지역의 인구를 전부 합치면 지구 전체 인구의 거의 절반에 해당합니다. New York Times에 소개된 Ovum의 분석(오른쪽 그림)을 보면 미디어 판매가 점점 늘어나는 것을 알 수 있으며, 중요한 것은 앞으로 점점 더 많은 사람들이 PC가 아닌 휴대폰으로 "인터넷"을 사용하게 될 것이라는 점입니다.

이러한 구매력 변화의 영향은 전통적인 미디어에만 국한되어 있지 않습니다. 소프트웨어 업계도 미디어 업계입니다. 기술적으로 이 두 업계는 완전히 통합되었습니다. (디지털 파일은 어쨌거나 디지털 파일입니다. 그것이 오픈솔라리스이건, MySQL이건, 주걸륜의 새 비디오이건, 크리켓 챔피언의 하이라이트이건 말이죠.) 이러한 컨텐츠를 배포하고 조작하는 인프라(예: 서버, 네트워킹, 스토리지 및 인프라 소프트웨어) 역시 점점 더 소비자의 구미에 맞게 조정되고 있습니다. 즉, IT 시장의 B2C(Business to Consumer) 부문은 B2B(Business to Business) 부문보다 훨씬 더 빠르게 성장하고 있습니다. 그렇다면 이러한 네트워크 컴퓨팅 인프라 시장에 가장 큰 곳은 어디일까요? 당연히 시장은 소비자가 있는 곳에 형성될 수밖에 없습니다. (현재 절반 이상의 소비자는 모바일 네트워크 서비스가 충분히 제공되는 대도시에 살고 있습니다.) B2B로 인해 IT 업계가 경제의 중심지(G7)에 집중할 수 있었다면 B2C는 소비자와 인구 중심지(P7?)로 초점을 옮기는 것입니다. 이것은 근본적인 변화입니다.

이러한 상황을 배경으로 저는 썬 조직에 몇 가지 중대한 변화를 주었으며, 이는 두 가지 새로운 분야에서 리더십과 리소싱에 초점을 맞추고 있습니다.

첫째, 썬 내부의 많은 사람들이 이미 알고 있는 사실이지만 Lin Lee를 임원진에 합류시켰습니다. Lin은 전 세계 정부와 NGO와의 관계를 관리하게 될 것입니다. 상하이에 있는 Lin은 오픈 소스 및 문서 형식을 통해 데이터 센터의 능률을 높이려는 썬의 에너지 효율적인 네트워크 인프라 비전을 홍보할 것입니다. 이미 개발도상국에서 이러한 비전을 적극적으로 수용하려는 움직임이 감지되고 있습니다. Lin은 학생, 대학 및 정부가 각자의 기회를 활용하는 데 장애를 받지 않도록 도움을 주는 데 주력하고 있습니다.

또한 저는 오늘 Peter Ryan을 썬 글로벌 영업 및 서비스 조직의 책임자로 새로 임명했습니다. 그는 곧바로 이머징 마켓 부서를 새로이 편성하여 Denis Heraud를 책임자로 임명했습니다. 빠른 속도로 성장 중인 여러 경제 지역(BRICA 포함)을 의미하는 이머징 마켓은 머지 않아 북미, 유럽 및 아시아 지역과 어깨를 나란히 할 것입니다. 지난 한 분기에만 BRICA에서의 사업이 두 자리 수의 성장세를 보였습니다. 이번 조직 개편은 새로운 포커스, 리소싱 및 강력한 리더십을 통해 이러한 성장을 더욱 가속화하는 것이 목적입니다.

Don Grantham의 자리는 Peter(저는 지난 주말에야 처음으로 그가 원래 메인프레임 시스템 엔지니어였다는 것을 알았습니다.)가 맡게 됩니다. (Don은 썬을 떠나 HP로 이직해서 EDS 거래가 끝나기 전에 솔라리스 라이센스를 확보한다는군요...)

최근에 빠르게 성장하고 있는 경제 지역은 전통적인 IT 표준을 버리고, 무료/오픈 소스 소프트웨어를 적극적으로 도입 및 배포하고 있습니다. 물론 이들 지역은 에너지 효율에도 큰 관심을 가지고 있습니다. 1억명이 새로 PC를 사용하기 시작하면 사회 경제가 발전하는 대신, 이들이 각각 200와트만 사용하더라도 최대 20기가와트를 공급할 신규 화력 발전소가 필요하기 때문입니다. 겨우 4와트만 사용하는 썬레이 데스크톱이 개발도상국은 물론 선진국에서도 관심을 끄는 것이 바로 그러한 이유 때문입니다.