Как суперкомпьютеры на водяном и иммерсионном охлаждении обогревают дома
Многофункциональные комплексы интегрируются в уже существующие или вновь создаваемые системы и помогают экономить на отоплении и горячем водоснабжении.
Суперкомпьютер IBM и отопление университетского городка
В 2009 году стало известно об уникальном проекте Швейцарского федерального технологического института и IBM. В проекте был заявлен суперкомпьютер на водяном охлаждении, выделяемое которым тепло планировали направлять на отопление университетского кампуса. Устройство Aquasar хотели разместить в ETH в Цюрихе.
Хладагент упрятали в медные трубы, которые располагались в стандартных блейд-серверах. В прототипе суперкомпьютера хотели объединить два монтируемых в стойку сервера IBM BladeCenter, в каждом из которых находились бы несколько процессоров IBM PowerXCell 8i и Intel Nehalem. Пиковая производительность вычислительного устройства могла превысить 10 терафлопс, что впрочем далеко от тех характеристик, которыми располагают действительно мощные суперкомпьютеры.
Нагретый теплоноситель должен был отдавать тепло внутри здания. По оценкам IBM, предложенная схема утилизации тепла снижала углеродный след системы на 85% и экономила до 30 тонн углекислого газа в год по сравнению со стандартными подходами к охлаждению. Сравнение проводили на основе данных о среднегодовой эксплуатации системы отопления на ископаемом топливе.
Тогда же подсчитали, что энергопотребление систем кондиционирования, применяемых в ЦОДах, составляет 50% всей потребляемой центром энергии. Поскольку Aquasar более не нуждался в таком оборудовании, IBM планировала сократить энергопотребление минимум на 40%.
«Экономия энергии — это проблема №1 с которой человечество столкнётся в XXI веке. Мы больше не можем позволить себе проектировать компьютерные системы, основываясь только на критериях скорости вычислений и производительности», — заявил профессор Пуликакос из ETH Zurich, руководитель проекта Aquasar. Новой целью должны стать высокопроизводительные суперкомпьютеры с низким энергопотреблением и центры обработки данных. А это неизбежно означает переход к системам на жидкостном охлаждении или тем, в которых используется иммерсионная жидкость. И полезному использованию выделяемого тепла, добавим мы.
Представители Aquasar сообщили, что их главной «фишкой» стало использование теплой воды для охлаждения, а не холодной. По расчётам специалистов IBM, вода примерно в 4 раза эффективнее в качестве хладагента, чем воздух. Она циркулирует в системе охлаждения с температурой 60 градусов Цельсия. Рабочая температура чипов находится в диапазоне 80-85ºC. В системе используется струйное охлаждение — вода вступает в контакт с задней поверхностью чипа через микроканалы в радиаторе. Фактически, жидкость снимает только тепло только с самых нагретых участков.
Трубопроводы отдельных блейд-серверов соединяются с водопроводом серверной стойки, которая подключается к трубопроводной магистрали. Система охлаждения выглядит как замкнутый контур. Вода (60 градусов Цельсия) забирает тепло у чипов и охлаждается до нужной температуры в пассивном теплообменнике. После этого она поступает в систему отопления здания. Высокая температура «на входе» способствует получению оптимальной температуры «на выходе». При подаче в систему отопления температура остаётся на уровне 65 градусов Цельсия.
Цикл охлаждения занимает около 20 секунд. В ходе тестов система расходовала всего 10 литров при скорости работы 30 литров/минуту.
Hewlett-Packard, получивший награду за лучшую разработку
Вдохновлённые успехами IBM, по схожему пути пошли и Hewlett-Packard (HP) совместно с Национальной лабораторией возобновляемой энергии Министерства энергетики США (NREL).
Их суперкомпьютер мог обрабатывать квадриллионы вычислений каждую секунду, необходимых для имитации процессов и моделирования всего: от погодных условий до финансовых рисков, движения наночастиц и небесных объектов. Когда он немного «вырос» после наращивания мощностей, создатели задумались над водяным охлаждением для суперкомпьютера. Прототипом выступил Apollo — имевшаяся на тот момент разработка с водяным охлаждением элементов.
Итогом исследовательской работы стал высокопроизводительный компьютер Peregrine на базе 31 тыс. процессоров Intel Xeon, производительностью 1,19 петафлопс. Установка обеспечивает теплом почти 17 тыс. кв. м. В год достигается экономия в пределах 1 млн долларов США только на затратах на электроэнергию. В целом ESIF потребляет на 74% меньше энергии, чем аналогичные офисные здания по площади и электронной «начинке».
Задача состояла в том, чтобы использовать жидкостное охлаждение не как «экзотику», но настолько простым, надежным и экономически эффективным методом, чтобы оно могло работать на широком спектре больших компьютеров — не только в федеральных лабораториях, но и на ПК с любым набором клиентов и приложений. Возможно, в перспективе в них могли бы установить и асик майнеры.
Инженеры отмечают важный момент: помимо того, что жидкость гораздо эффективнее воздуха по теплообмену, насосы расходуют меньше энергии, чем вентиляторы на отведение эквивалентного количества тепла. Использование жидкостного охлаждения позволило HP более плотно упаковать серверы и сохранить их в прохладе, вместо того, чтобы распределять устройства в центре обработки данных, чья площадь измеряется сотнями квадратных метров при воздушном охлаждении. Плотность размещения вычислительных чипов в HP Apollo 8000 составляет 288 процессоров в стандартной стойке размером 2 на 4 фута. Это в четыре раза превышает плотность типичных стоек для высокопроизводительных компьютеров «на воздухе», а значит они занимают меньше места и стоят дешевле.
Заметим, что в Apollo также используют для охлаждения горячую воду. Забирая тепло у чипов она нагревается до тех температур, при которых может служить источником тепла для офисов и лабораторий ESIF. Часть трубопровода проложена под дорожками и на площадке за пределами здания. Зимой это помогает держать дорожки сухими ото снега и льда, а летом происходит понижение температуры, необходимое для завершения цикла охлаждения ЦОДа.
Система HP Apollo также обладает очень сложной системой управления. Это не просто суперкомпьютер-печь. Для обогрева зданию требуется минимальная температура воды, выходящей из центра обработки данных. Высокотехнологичное оборудование позволяет варьировать скорость потока в трубопроводах, что поддерживает постоянную температуру воды на выходе, независимо от того, работает компьютер при полной нагрузке или на холостом ходу, а также контролирует диапазон температур на входе воды в систему.
Всё вышеописанное справедливо и в том случае, если вместо суперкомпьютера используется майнер криптовалют.
Модульный мобильный суперкомпьютер BiXBiT на иммерсионном охлаждении
В результате исследований и сравнения разных вариантов охлаждения — водяного, иммерсионного (погружного), двухфазного и однофазного — специалисты компании BiXBiT пришли к выводу о том, что оптимальным вариантом для съёма тепла с компонентов суперкомпьютера является однофазное иммерсионное охлаждение. В этом случае тепло отводится не только от самых горячих элементов (чипов), а равномерно термостатирует всё погружённое оборудование.
Почему иммерсионное охлаждение лучше всего подходит для суперкомпьютеров? Именно при таком способе охлаждения оборудования «железо» располагается максимально плотно и выделяет значительное количество тепла. К тому же вычисления часто проходят в режиме 24/7, поэтому необходимость в стабильном отведении тепла существует постоянно. В то время, когда суперкомпьютер не решает никакие задачи, его можно переключать на майнинг, как на побочный источник заработка (при погружении FPGA и GPU). Таким образом, потребитель получает суперкомпьютер, промышленный майнинговый аппарат и мини-котельную.
Решение позволяет полезно использовать выделяемое оборудованием тепло как при охлаждении с использованием проточной воды, так и при установке градирни с хладагентом. Наш суперкомпьютер также рассчитан на последующее масштабирование и позволяет отводить тепло как на элементарном уровне (ячейка), так и высоком (контейнер для майнинга). В ходе многомесячных исследований нам удалось найти состав, который позволяет погружать в него любое компьютерное оборудование.
Отличительной особенностью наших установок является возможность как полной (100%), так и частичной утилизации тепла. Для сброса излишков в этом случае используют градирню в качестве опции. На этом преимущества технологии не заканчиваются. Каждый элемент установки (ячейка, стойка, контейнер) является автономным и мобильным. Его можно переместить в любую выбранную локацию, например, к источнику с дешёвой или возобновляемой электроэнергией. Систему снабжают автоматикой, которая регулирует все процессы, происходящие в установке, пользователь избавлен от необходимости контролировать систему охлаждения и переключаться на утилизацию тепла или сброс тепла через градирню.
В зависимости от комплектации, суперкомпьютер оснащают системами удалённого мониторинга, дистанционного управления, пожаротушения и защитной автоматикой, которые предотвращают внештатные ситуации и препятствуют выходу оборудования из строя. Также, в зависимости от требуемых задач, вы можете купить оборудование для майнинга и разместить его в наших установках.
Иными словами, охлаждение суперкомпьютеров давно миновало исключительно воздушный способ охлаждения и перешло к жидкостному/иммерсионному в разных его вариантах.
Самые интересные новости в нашем телеграм-канале!
