Технология погружного охлаждения IMMERS

Передовые разработки в этой области напрямую влияют на имидж страны и обеспечивают существенное преимущество в целом ряде отраслей экономики. Создание новых технологий, в том числе двойного назначения, во многих странах является приоритетной задачей.

Принцип работы

Электронные устройства применяются повсеместно и позволяют решать самые разнообразные задачи. Мировой вектор передовых компьютерных технологий в настоящее время сфокусирован на одном из самых мощных и стремительно развивающихся направлений — направлении суперкомпьютерных технологий. Данная сфера охватывает инженерный анализ, проектирование, испытания материалов, изделий и т.д. практически во всех отраслях современной промышленности. Внедрение и развитие суперкомпьютерных технологий критически важно для российской индустрии. Передовые разработки в этой области напрямую влияют на имидж страны и обеспечивают существенное преимущество в целом ряде отраслей экономики. Создание новых технологий, в том числе двойного назначения во многих странах является приоритетной задачей. В России разработки в области суперкомпьютерных технологий зачастую являются инициативой отдельных коммерческих компаний и научных институтов, а не целенаправленной государственной политикой. Именно так в 2009 году была создана рабочая группа из сотрудников Группы компаний «СТОРУС» и Института программных систем им. А.К. Айламазяна РАН. В основе лежало стремление создавать высокотехнологичные вычислительные системы отечественного производства, построенные на базе передовых мировых технологий, используя потенциал Российской науки и бизнеса. На сегодняшний день это команда профессионалов с десятками успешно реализованных проектов.

Одной из последних разработок является технология непосредственного погружного охлаждения IMMERS , которая способна совершить переворот в области создания радиоэлектронных устройств и информационных систем.

Электронные устройства не производят механической работы, поэтому вся электроэнергия, которую они потребляют, преобразуется в тепло. Именно тепловыделение и отвод тепла являются основными проблемами при проектировании и эксплуатации электроники. Для отвода излишков тепла в энергоемких системах могут применяться различные принципы охлаждения. Так как движущей силой процесса теплообмена является разность температур, то одним из показателей термодинамической эффективности системы охлаждения можно считать отношение теплового потока к разности температур нагретой электроники и окружающей среды, то есть величину, обратную термическому сопротивлению системы охлаждения. В идеальных условиях охлаждение происходит в обратимом режиме теплообмена, когда площадь компонентов бесконечна и нагрета равномерно, при таких условиях разница температур предельно мала, а эффективность стремится к абсолютной. В реальных условиях повысить эффективность и снизить термическое сопротивление можно исключив промежуточные уровни теплообмена и максимально повысив теплоемкость хладагента среды. Как следствие для охлаждения будет необходим меньший температурный напор между нагретыми элементами и окружающей средой.

Совместными усилиями Института программных систем им. А.К. Айламазяна РАН и Группы компаний «СТОРУС» было разработан подход, позволяющий радикально по-новому решить проблему отвода тепла с нагретых компонентов. В данном решении электроника погружается в специальную диэлектрическую жидкость, которая омывает электронные компоненты и забирает на себя избыточное тепло.

Объемная теплоемкость диэлектрической охлаждающей жидкости более, чем в 1000 раз превосходит объемную теплоемкость воздуха. Это значит, что для отвода тепла от нагретых компонентов требуется в 1000 раз меньший поток. Например, для отвода 1 кВт тепла при помощи воздуха, нужно нагревать на 20°С поток воздуха с расходом 2,5 м3/мин. В системах IMMERS для отвода 1 кВт тепла потребуется нагревать на те же 20°С гораздо меньший поток жидкости — 2,5 л/мин. Организация такого потока требует значительно меньших энергозатрат. При правильной организации потоков жидкости, радиаторы компонентов системы омываются жидкостью с максимальной скоростью, это позволяет снимать значительно больше тепла с единицы площади. А так как коэффициент теплообмена для охлаждающей жидкости приблизительно в 100 раз превышает коэффициент теплообмена для воздуха, то можно существенно увеличить плотность установки вычислительных модулей. Кроме того снижается падение температуры в системе теплообмена, а, следовательно, вычислительный комплекс может работать при более высокой температуре окружающей среды.

При непосредственном, погружном жидкостном охлаждении отпадает необходимость применения компрессорных установок во внешних охладительных блоках. В Московском регионе температура воздуха вне помещений выше 25°С наблюдается в среднем около 30 дней в году, поэтому практически круглогодично система охлаждения IMMERS способна работать в режиме free cooling без применения компрессорных охлаждающих установок.

Система охлаждения построена по принципу замкнутого цикла и является полностью герметичной что защищает установленную в ней электронику от любых внешних воздействий. Для повышения надежности системы используется два контура охлаждения. Жидкость, нагревается во внутреннем контуре охлаждая электронные компоненты внутри шасси и отдает тепло промежуточному теплоносителю во внешний контур через теплообменник. После этого подготовленная вода во внешнем контуре проходит через охладитель, в котором обеспечивается рассеивание тела в окружающую среду. Циркуляция жидкости внутри системы обеспечивается насосными группами с интеллектуальным управлением, а в шасси дополнительно используется естественная конвекция.

Характеристики комплекса

Вычислительные комплексы с применением системы охлаждения IMMERS обладают рядом уникальных характеристик:

• Полная герметичность и защита от внешних воздействий. Герметичность системы исключает проникновение влаги, пыли и попадание посторонних предметов.
• Высокая плотность компоновки и полная бесшумность, . При размещении вычислительного шасси в помещении, а внешнего блока (охладителя) за его пределами — например, на улице,— уровень шума в помещении остается неизменным. Отсутствие вентиляторов и низкая интенсивность потока хладагента позволяют использовать меньшее, по сравнению с другими системами, количество механических движущихся элементов. Уровень шума работающей системы под полной нагрузкой не превышает 48 дБа. При этом надо учитывать, что в максимальной конфигурации одно шасси имеет производительность более 24 Tфлопс.
• Эффективный отвод тепла и снижение энергопотребления. В системах IMMERS четвертого поколения коэффициент PUE достигает рекордного значения 1,037.

1 — шасси суперкомпьютера; 2 — радиатор внешнего охладителя;
3 — управляемый насос; 4 — вентилятор внешнего охлаждения;
5 — запорные клапаны; 6 — дополнительное шасси.

В последние годы вопросу энергоэффективности вычислительных систем уделяется особое внимание. Даже был создан специальный рейтинг Green500 в котором отбираются наиболее энергоэффективные суперкомпьютеры. При оценке энергоэффективности как правило оперируют двумя коэффициентами: PUE — отношение полной потребляемой мощности к полезной (то есть, к мощности электропотребления вычислителя) и E — отношение производительности (flops) к полной потребляемой мощности (кВт).

При расчете PUE мы делим общую мощность (Р) на полезную, ту, которая непосредственно идет на расчеты (Р0). Общая мощность складывается из полезной и мощности на инфраструктуру, в том числе на охлаждение: Р = Р0 + Р1. Тогда PUE = (Р0 + Р1)/Р0 = 1 + Р1/Р0. Поскольку Р0 у нас в знаменателе, то чем больше Р0 при тех же затратах на охлаждение (процессоры имеют большее тепловыделение при той же производительности), тем лучше PUE. Конечно, чем больше Р0, тем сложнее обеспечить те же затраты на охлаждение, поэтому PUE является хорошим показателем эффективности.

В коэффициенте Е берется отношение производительности (flops) к полной потребляемой мощности (кВт). В знаменателе сумма Р0 + Р1. Желательно, чтобы значение Е было наибольшим. Поэтому, если процессоры имеют большее тепловыделение при той же производительности (или меньшую производительность при том же тепловыделении, что то же самое), то Е становится меньше, то есть — хуже.

Именно поэтому для оценки эффективности системы охлаждения используется коэффициент PUE, а для оценки эффективности вычислительного кластера в целом коэффициент E.

На сегодняшний совместными усилиями Института программных систем им. А.К. Айламазяна РАН и Группой компаний «СТОРУС» разработан и запущен в производство модельный ряд вычислительных систем IMMERS на основе технологии непосредственного погружного охлаждения. Разработка защищена Патентом на Изобретение РФ № 2496134.

Вычислительные комплексы IMMERS с непосредственным жидкостным охлаждением — это уникальный продукт, в основе которого лежат инновационные разработки и самые современные технологии. Одним из основных достоинств системы является крайне низкие затраты электроэнергии на подсистему охлаждения.

Вычислительное шасси IMMERS с непосредственным жидкостным охлаждением собрано в прочном конструктиве из нержавеющей стали. Шасси заполняется специализированной диэлектрической жидкостью, в которую погружаются универсальные вычислительные и вычислительно-графические модули, а так же модули для хранения данных , коммутации и управления. Система электропитания универсальных модулей организована по схеме N+1, а модулей управления и коммутации — дублирована.

Вычислительный узел может быть собран с набором логики и процессоров от одного из крупнейших мировых производителей, по выбору заказчика Intel® или AMD® с применением графических ускорителей от nVIDIA®, AMD® или Intel®. Существует возможность использовать узлы на базе процессоров Российского производства. В одной системе возможно использование любых комбинаций вычислительных узлов.

В отличии от всех остальных схем охлаждения и эксплуатации серверов, комплекс является полностью законченным решением и не требует дополнительных кондиционеров, систем осушения и очистки воздуха, а так же подготовки помещений, так как в погружных системах охлаждения исключается контакт между электроникой и воздухом. При необходимости комплекс может эксплуатироваться вне помещений, круглогодично. При разработке комплекса учтены требования по снижению уровня ЭМИ для предотвращения несанкционированного доступа к конфиденциальной информации.

Семейство Суперкомпьютеров IMMERS 880

IMMERS 880 это четвертое поколение суперкомпьютеров IMMERS, имеющее пиковую производительностью более 24 Tфлопс на один модуль. Новые суперкомпьютеры IMMERS 880 обладают высокой энергоэффективностью, коэффициент PUE составляет 1,037. В системах четвертого поколения полностью переработана насосная группа, а так же изменены принципы распределения потоков жидкости внутри системы. Эти неприхотливые, компактные, малошумные и защищенные суперкомпьютеры уже нашли применение в науке, геологии, инженерии и на финансовых рынках.

Инсталляция и использование суперкомпьютеров IMMERS 880 не влечет за собой скрытых расходов и необходимости в дополнительном оборудовании. Все узлы, которые требуются для работы, уже присутствуют в составе поставляемой системы. Низкое энергопотребление не только позволяет минимизировать затраты, но и использовать эти системы там, где энергетические ресурсы ограничены. Широкий выбор вычислительно-графических модулей позволяет эффективно адаптировать суперкомпьютер под решаемую задачу.

Высокая вычислительная плотность в сочетании с низким энергопотреблением и работа в широком диапазоне температур — все это обеспечено, благодаря уникальной технологии охлаждения IMMERS.

Технические характеристики шасси:

• Расчетная производительность - 24 Тфлопс
• Слотов для установки универсальных вычислительных модулей – 8
• Высокоскоростные порты Infiniband 10/56 Гбит (QSFP) - 8
• Порты Ethernet 1 Гбит – 17

Физические характеристики шасси:

• Длина: 980 мм
• Ширина: 572 мм
• Высота: 625 мм
• Вес: 60 кг

В шасси вычислительной системы устанавливается до восьми вычислительно – графических модулей, собранных в общий конструктив и имеющих объединенную систему управления и мониторинга. Конструктив модуля выполнен таким образом, что обеспечивается его установка и извлечение из шасси без остановки как самого шасси, так и остальных установленных в шасси модулей.

Спецификация вычислительно-графического модуля (тип 1)

• 2 х CPU Intel® Xeon® E5 -2697 v3,
• память 128 ГБ RAM,
• 1 x порт Infiniband,
• 2 x порт 1 Гбит Ethernet,
• 2 х твердотельный накопитель 120 ГБ,
• 4 х граф ускоритель Nvidia® Tesla™ K40

Спецификация вычислительного модуля (тип 2)

• 4 х CPU Intel® Xeon® E5 -2697 v3,
• память 128 ГБ RAM,
• 1 x порт Infiniband,
• 2 x порт 1 Гбит Ethernet,
• 2 х твердотельный накопитель 120 ГБ

Физические характеристики вычислительного модуля:

• Длина: 88 мм
• Ширина: 580 мм
• Высота: 7150 мм
• Вес: 16 кг

Блок системы жидкостного охлаждения

Блок жидкостного теплообмена предназначен для осуществления принудительного охлаждения вычислительной системы IMMERS 880, в комплект входят фитинги, кабели и независимый контроллер управления блоком. Блок рассчитан на мощность до 15 кВт и удовлетворяет требованиям группы 1.1 климатического исполнения УХЛ4 (для оборудования, размещаемого внутри помещения) и ХЛ2.1 (для оборудования, устанавливаемого вне помещения). По желанию заказчика блок может быть укомплектован дополнительными резервными насосами и контроллером управления для обеспечения отказоустойчивости комплекса.

Технические характеристики блока охлаждения

• Длина: 750 мм
• Ширина: 605 мм
• Высота: 1250 мм (от фальшпола)