Погружной кластер «Черенков» в НИЯИ МИФИ

ИММЕРС

История успеха

Студенты, преподаватели и ученые Национального Исследовательского Ядерного Университета МИФИ теперь работают на суперкомпьютере "Черенков".

"Черенков" - представитель 5-го поколения систем с погружным охлаждением IMMERS 8 5R - решения, особенности которого идеально подходят задачам и условиям ВУЗов. При высокой вычислительной мощности и масштабируемости (на первом этапе пиковая производительность установленной системы 12 ТФлопс, IMMERS 8 5R экономичны, гибки, малошумны и неприхотливы. Особенность систем - их система охлаждения, при которой все электронные компоненты находятся внутри герметичного контейнера, залитого специальной охлаждающей жидкостью.

Как университету обеспечить гибкость решения задач?

Исследователям, работающим над актуальными проблемами, и студентам, приобретающим практические навыки работы с современным оборудованием, необходимо иметь полигон для экспериментов, тестирования и сравнения различных архитектурных решений. Стремительное развитие индустрии высокопроизводительных вычислений не позволяет остановиться на одной модели вычислений, даже если в данный момент она представляется оптимальной. Не утихают споры о границах возможностей вычислительных систем, использующих однородные узлы, и гетерогенных систем, где универсальные процессоры управляют сверхпроизводительными графическими ускорителями или сопроцессорами. Нередко желание иметь под рукой богатый набор вариантов приводит к "зоопарку" вычислительных ресурсов - плохо совместимым компьютерам, обслуживание которых требует большого штата ИТ-сотрудников и приводит к проблемам в случаях сбоев оборудования.

Решение ИММЕРС

IMMERS 8 5R уникальны тем, что в единые по управлению и контролю системы можно установить как традиционные узлы на базе последнего поколения процессоров Intel Xeon E5-2630V3, так и гетерогенные узлы с графическими ускорителями NVIDIA Tesla (а также с AMD Radeon), или с сопроцессорами Intel Xeon Phi - то есть со всеми наиболее востребованными в индустрии высокопроизводительных вычислений комбинациями устройств. На первом этапе - как это и было в МИФИ - можно установить систему с традиционной архитектурой, а далее, по ходу освоения, наращивать ее подсистемами с гетерогенными узлами. При этом удобное и универсальное ПО управления системой позволяет персоналу эффективно управляться со всеми возможными конфигурациями без привлечения дополнительных специалистов.

Как сэкономить электроэнергию?

Особенность профильных задач Университета - высокие требования к производительности, огромная ресурсоемкость. В атомной отрасли работают лидирующие в мире суперкомпьютерные установки. Когда речь заходит о задачах больших масштабов, энергоэффективность становится не просто важным, но ключевым фактором. В случае, когда задачи не столько масштабны, эти требование не теряют актуальности, тем более что такой крупный исследовательский центр как НИЯУ МИФИ не может не рассчитывать многолетние перспективы.

Решение ИММЕРС

На реально работающих системах IMMERS 8 5R достигнут впечатляющий результат: коэффициент энергоэффективности, PUE, равен 1.05. Это значит, что лишь 5% энергии тратится на охлаждение, в то время как, например, в системах с воздушным охлаждением на охлаждение может уходить до 30% от всей подводимой мощности. Таких успехов удалось достичь благодаря суперкомпьютерному моделированию потоков охлаждающей жидкости.

Как избавиться от шума?

За шум, который невыносим при длительном пребывании рядом с работающими серверами, помещения вычислительных центров и специализированных серверных комнат прозвали "вертолетными площадками". В условиях университетской жизни вопрос шума не только вопрос удобства. Молошумящие вычислительные комплексы можно установить в лаборатории, "под рукой" у исследователя. Кроме того, в учебных целях удобно было бы объяснять принципы работы и архитектуру систем на месте, что намного наглядней.

Решение ИММЕРС

Шум от работающего кластера серии IMMERS 8 5R в связи с отсутствием вентиляторов не превышает 50 Дб. Это значит, что в метре от системы можно вести разговор, не повышая голоса. Такой компьютер можно установить в лаборатории подобно персональному компьютеру - рядом с рабочим местом исследователя.

Стоит ли опасаться экзотических систем охлаждения?

Вычислительные комплексы с необычными принципами охлаждения имеют существенные преимущества. Однако не таят ли нестандартные условия работы, наличие охлаждающих жидкостей специфического состава новые требования по безопасности, особые требования к помещению?

Решение ИММЕРС

Погружная система охлаждения IMMERS не столь экзотична. Принцип был успешно реализован еще в модели Cray II в 1985 году. В отличие от охлаждающей жидкости в Cray II, жидкость в системах, которые поставляет ИММЕРС, совершенно не токсична, что доказали и сертификаты, и практический опыт ее использования. В любом случае, серверные контейнеры герметичны, поэтому о соприкосновении с жидкостью можно говорить лишь теоретически. Кроме всего прочего, погружное охлаждение, при котором все электронные компоненты находятся внутри контейнера, в наименьшей степени зависят от климатических условий и состава воздуха в помещении. Ни атмосферная влага, ни пылинки в принципе не войдут в соприкосновение с электроникой. Рабочий диапазон температур также отличается широтой, невозможной для систем, построенных на других принципах охлаждения.

Как в короткий срок перейти от освоения техники к решению практических задач?

Суперкомпьютер - сложное техническое решение, в котором сочетаются современные электронные достижения (мощные процессоры, скоростные соединения), специальное параллельное системное ПО и прикладные программные пакеты, приспособленные к высокому параллелизму вычислительного комплекса. Установка, настройка системы и ее тестирование может занять немало времени, не говоря о переходе к решению практических задач.

Решение ИММЕРС

С целью выбора корректной конфигурации вычислительного комплекса, с учетом специфики прикладных задач университета, Управлением информатизации МИФИ было проведено удаленное тестирование близкого по параметрам кластера IMMERS. Сборка системы на площадке ЦОДа МИФИ заняла всего 5 рабочих дней.

В ходе работ по подготовке к выполнению заказа НИЯУ МИФИ бесплатный удаленный доступ к системе был предоставлен не только ИТ-специалистам МИФИ, но также и сотрудникам, профессорам университета и студентам.

Компания ИММЕРС предлагает не "железо", а программно-аппаратный пул продуктов, чья интеграция тщательно продумана. Пользователи могут выбирать ПО от ведущих мировых производителей, в том числе и продукты российских компаний. Это касается и системного ПО (российских версий ОС Linux), так и прикладных пакетов, таких как FlowVision российской компании "Тесис", не уступающих по возможностям зарубежным аналогам.