Самое большое в мире суперкомпьютерное облако
Я и не предполагал, что космический телескоп "Хаббл" может заглянуть в прошлое всего на 12 миллиардов лет.
Честно говоря, я вообще не думал, что телескопы могут заглядывать в прошлое, пока Майкл Норман, исследователь из Университета Калифорнии в Сан Диего, не восполнил мои пробелы в астрономии и не объяснил, что "Хаббл" видит небесные тела, чей свет доходит до нас только сейчас. Но он может заглянуть в прошлое "всего" на 12 миллиардов лет, и Майкл хочет прорваться сквозь эту завесу. (Я спросил, чем он занимается, и он ответил: "Я занимаюсь моделированием Вселенной". Как вам такое описание работы?)
Он хочет найти ответ на вопрос: "А что было в предыдущие 1,7 миллиарда лет?" Возраст Вселенной составляет примерно 13,7 миллиардов лет, и по причине ограниченности возможностей "Хаббла" Майкл использовал самый мощный в мире суперкомпьютер — платформу Ranger в Техасском центре высокопроизводительных вычислений (TACC) при Техасском университете в Остине для моделирования этих предыдущих 1,7 миллиардов лет. (Позднее он признался, что его больше интересуют 1,5 миллиарда лет, так как в первые 200–300 миллионов лет существовали только массы водородного тумана, еще не собравшегося в туманности, из которых рождаются звезды.)
Меня попросили выступить на торжественном открытии платформы Ranger, и этот рассказ был всего лишь одним из примеров того потока научных исследований, которые будут делаться на самой большой в мире открытой вычислительной платформе. Открытой? Эта установка финансировалась Национальным научным фондом США с целью предоставить возможности крупномасштабных суперкомпьютерных вычислений в распоряжение любого исследователя в США (послать запрос можно здесь). Платформа Ranger создана полностью на базе решений Sun; переходя на технический жаргон, вот ее характеристики:
- Центр обработки данных размещен на площади примерно 550 кв. метров и потребляет менее 3 МВт...
- Он включает в себя более 4000 четырехъядерных блейд-систем Sun/Opteron, более 120 ТБ памяти DRAM, под управлением CentOS
- Они обеспечивают вычислительную мощность свыше 500 терафлоп
- Планирование задач на них выполняется с помощью Sun Grid Engine
- Они соединены двумя неблокирующими коммутаторами Magnum с пропускной способностью 100 терабит/с (рога — это дополнительно)
- Управление данными с помощью файловой системы Lustre, на серверах Thumper
- Емкость хранилища более 2 петабайт
- Управляется нашей файловой системой SAM-FS для иерархического управления данными, с архивацией на ленточные хранилища Sun
- Общее управление и мониторинг систем с помощью xVM OpsCenter (крупнейшая в мире инсталляция).
Огромные усилия инженеров привели к созданию этого центра и примененных в нем технологий, которые Sun может теперь тиражировать в установках меньшего (и большего, конечно, тоже) масштаба во всем мире — как для некоммерческих, так и коммерческих организаций. Помимо правительственных учреждений и научного сообщества, высокопроизводительные вычисления постепенно привлекают внимание компаний из различных отраслей во всем мире, причем как конкурентное преимущество в бизнесе, а не просто как научные исследования. Эта система потребляет лишь небольшую долю той электроэнергии, которая требовалась для этого всего несколько лет назад, — что делает ее одной из самых экологичных систем в мире.
Чтобы вы могли представить себе реальный масштаб Ranger, посмотрите на эту таблицу (щелкните для просмотра в реальном времени):
Мощность Ranger превосходит мощность всех остальных центров Национального научного фонда, вместе взятых. Когда в Техасе говорят "большой", то это точно что-то по-настоящему большое.
Как сказал в своем выступлении директор отдела вычислительной инфраструктуры Национального научного фонда, компьютерное моделирование сейчас считается полноправной областью научных исследований. Использование такого центра станет революцией в науке, как в США, так и во всем мире, и в самых разных областях — разработка новых лекарств, моделирование климата, исследование гидродинамических процессов, моделирование Вселенной, эпидемиология, исследования материалов. На сегодняшний день платформа Ranger используется уже более чем в 500 исследовательских проектах — то есть она уже изменяет мир. А поскольку она является частью сети Teragrid Национального научного фонда, то результаты исследований будут доступны во всем мире. Открытость означает открытость. Джей Буассо, директор TACC, сказал мне, что количество заявок на использование времени платформы Ranger скоро превысит доступное процессорное время (всего имеется 500 миллионов часов процессорного времени в год, т. е. 125 млн. часов в квартал). Для Джея, д-ра Нормана и других специалистов увеличение ресурсов только увеличивает аппетит — в отличие от многих корпоративных ИТ-отделов, где излишки консолидируются и исключаются (это центральная идея теории "красного смещения" Грега Пападопулоса).
Как возникла платформа Ranger? Это результат политики поддержки фундаментальной науки Национального научного фонда, усилий группы единомышленников из Техасского университета, воодушевленных техническим энтузиазмом Джея, а также усилий исключительной (действительно исключительной!) группы сотрудников TACC, Sun и AMD. Причем все три группы делали всё возможное, чтобы завершить работу по созданию этой платформы в рекордные сроки — и теперь это самый большой в мире центр высокопроизводительных вычислений. Самый большой в мире — в 4 раза мощнее ближайших аналогов.
Ranger изменит научный мир, сферу производства — и, в конечном итоге, общество. Почему я так считаю?
Как я сказал в своем выступлении, в свое время электростанция на Ниагарском водопаде производила 30% всей электроэнергии в США. Инженерные и научные достижения, использованные тогда при ее создании, сравнимы с работой по созданию платформы Ranger. Это было поистине фундаментальное исследование.
Изменило ли электричество общество? Безусловно. Изменит ли нашу жизнь знание того, что происходило во Вселенной в первые 1,7 миллиарда лет? Этого мы еще не знаем. Над этим работает д-р Норман. И в поиске ответа на этот вопрос ему теперь могут помочь Sun, AMD и исследователь из Техасского университета. Могут помочь благодаря этой платформе, которую Sun скоро сделает широко доступной на рынке. (Я хотел выбрать какой-нибудь заголовок вроде "разгоняя облака для облачных вычислений", но даже я поморщился, когда это перечитал.)
__________________
(Для тех, кому интересно, вот отличное изложение подхода д-ра Нормана к вычислительной астрофизике — заметьте, как и почти все работы в области высокопроизводительных вычислений, которые я видел по всему миру...
...его работа основывается на свободном и открытом ПО.)
Posted on 12:00AM мар 03, 2008 |


























