Сравнение жидкостей Novec и Coolant — почему мы остановились на собственной разработке

В последние годы появились десятки составов, которые позиционируются как жидкости для иммерсионного охлаждения. В основном речь идёт о разновидностях минеральных масел, ПАОМ, кремнийорганических маслах (силоксанах ПМС, ПДМС, ПЭС) или фторкетонах. Почему для нашей установки мы решили провести серию экспериментов и выбрать оптимальный и недорогой состав?

Как появился Novec

Первоначально для охлаждения трансформаторов использовали минеральное масло. В 50-ые гг. компания 3M впервые изготовила фторсодержащий хладагент для военной авионики. Его назвали Fluorinert. В 1996 году появился новый тип жидкости под маркой Novec, в которой не было озоноразрушающих веществ.

Жидкость первого поколения относилась к перфторуглеродам. Её свойства:

• прозрачная;

• без цвета и запаха;

• негорючая;

• отличные диэлектрические свойства;

• совместимость со многими материалами;

• высокие точки кипения.

Главным недостатком Fluorinert было то, что испарения жидкости долго оставались в атмосфере и косвенно способствовали глобальному потеплению. Поэтому их использовали в тех установках, где можно было обеспечить герметичность и минимизацию выбросов жидкости в окружающую среду. Особое внимание уделялось тому, чтобы жидкость не попадала на кожу и в глаза. В результате многолетней эксплуатации в суперкомпьютерах Cray-2 выяснилось, что она расщеплялась и выделяла очень токсичный перфторизобутан. В ЦОДах при длительной эксплуатации появлялись проблемы с блоками питания, проводами, конденсаторами и пр.

Большую популярность жидкости Novec имеют на Западе. Во-первых, бренд хорошо известен и зарекомендовал себя как безопасное средство тушения при возгораниях электроники. Во-вторых, 3M позиционировал жидкость как доработанную для майнеров. В-третьих, майнеры США и Западной Европы готовы вкладываться в майнинг с долгосрочным «прицелом». И, что немаловажно, они готовы инвестировать солидные средства в систему охлаждения. На просторах СНГ иммерсионное охлаждение больше связано с экспериментами и реализацией штучных проектов, причём жидкость якобы должна быть дешёвой и столь же безопасной как Novec. Но так не бывает.

С применением Novec появилась возможность создавать двухфазные системы иммерсионного охлаждения (2 PIC) с полуоткрытыми контейнерами.

Система двухфазного охлаждения на базе Novec

В двухфазной системе охлаждения используют ёмкость, в которой размещены платы или другое оборудование. Диэлектрической жидкостью выступает, например, Novec 7100 с температурой кипения 61 градус Цельсия. В процессе работы оборудование выделяет тепло, жидкость нагревается, закипает и начинает испаряться. При этом Novec забирает тепло от наиболее горячих элементов и переносит к конденсаторам, в которых циркулирует охлаждающая жидкость (вода). Она является промежуточным теплоносителем, при помощи которого тепло, выделяемое при конденсации хладагента, отводится в окружающую среду.

Для испарения 1 г Novec необходимо 120 Дж энергии. Видеокарта мощностью 200 Вт за 1 секунду испаряет около 2 г жидкости. За минуту произойдёт испарение 120 г. Таким образом, эффективность теплоотвода при кипении очень высока и позволяет отказаться от радиаторных пластин. Для двухфазного охлаждения обычно применяют Novec 7000, 7100 и 7200.

При испарении происходит переход Novec из жидкого состояния в газообразное. Поэтому процесс называется двухфазным. Если ёмкость оставить открытой, жидкость будет испаряться и её постоянно потребуется доливать. В закрытой ёмкости пар поднимается к крышке, где устанавливают конденсатор (несколько труб или змеевик ) с охлаждающей жидкостью (можно даже с холодной водой), то есть тот же теплообменник. Газ конденсируется, появляются капли и струями стекают обратно в ёмкость. При этом не нужны насосы и постоянный долив жидкости. Так формируется один закрытый рабочий контур.

Разумеется, жидкость в конденсаторе тоже нагревается. И мощность нагрева прямо пропорциональна выделяемой видеокартами мощности, необходимой для кипения жидкости. Поэтому постоянно требуется охлаждение жидкости. Для этого формируют второй закрытый контур. Вода, которая бежит по трубам, попадает в воздушный теплообменник с вентилятором, вынесенными на улицу. Он отводит тепло и вода вновь пригодна для охлаждения.

Для двухфазной системы намеренно используют жидкость-диэлектрик с низкой точкой кипения. Это сделано для того, чтобы точка кипения жидкости не превышала рабочий температурный режим элементов, а теплообмен происходил интенсивнее. При этом на видеокарты, например, часто устанавливают медные пластины. С них снимают теплопроводящие прокладки и удаляют термопасту. Затем устанавливают медную пластину по толщине зазора. Её подбирают по примерной толщине удаленной термопасты или прокладки. Теплопроводность меди, напомним, одна из самых высоких среди других элементов. То есть доработка оборудования перед погружением происходит и при охлаждении в двухфазке.

Преимущества двухфазной системы охлаждения на базе Novec:

• безопасная для электроники и негорючая жидкость (используется для тушения пожаров);

• эффективное охлаждение;

• экономия на системах охлаждения погружённого оборудования;

• высокая плотность размещения оборудования;

• отсутствие вредных выбросов.

Недостатки двухфазной системы охлаждения на базе Novec:

• высокая стоимость решения;

• необходима герметичная ёмкость;

• постепенное нарастание давления в закрытых ёмкостях, которое нужно компенсировать;

• сложность реализации системы для неопытных конструкторов;

• экономически оправданно только для оборудования с высокой плотностью размещения;

• необходимость доработки оборудования перед погружением.

Система однофазного охлаждения на базе Novec

В однофазной системе охлаждения не происходит фазовый переход из жидкого состояния в газообразное. Жидкость циркулирует при помощи насоса и после охлаждения в теплообменнике возвращается в ёмкость. Для однофазных систем выбирают, как правило, жидкости с высокой точкой кипения (120-130 градусов Цельсия, как у Novec 7500), но при этом она должна коррелировать с рабочим диапазоном погружённого оборудования.

Здесь также существует несколько технических нюансов, которые сводятся к компромиссу между летучестью, достигаемой на высоких температурных режимах и теплопередачей. В однофазных системах применяют Novec 7300 и 7500.

В системах без фазового перехода проще контролировать давление и не нужно учитывать расширение жидкости вследствие перехода в пар. Компенсировать эти процессы проще и дешевле.  

Преимущества однофазной системы на базе Novec:

• конструкция проще, чем при двухфазном охлаждении;

• можно погрузить новое и бывшее в употреблении оборудование;

• безопасность для окружающих;

• можно изготавливать ёмкости под разное оборудование.

Недостатки однофазной системы на базе Novec:

• высокая цена теплоносителя;

• практика показала, что состав постепенно разъедает пластификаторы и некоторые иные элементы;

• из-за летучести всё равно нужно делать ёмкость максимально герметичной;

• при длительном использовании и возникновении щелей возможно выкипание жидкости;

• нужно учитывать слишком много характеристик оборудования и совместимость жидкости с компонентами в условиях высоких температур.

Иммерсионная жидкость Coolant

При разработке установки на иммерсионном охлаждении компания BiXBiT экспериментировала с разными составами, в том числе и с Novec. В результате за основу приняли минеральные масла, но с использованием присадок, и получили собственный состав Coolant, прошедший испытания для работы с майнинг оборудованием (GPU, ASIC, FPGA).

Дело в том, что при погружном охлаждении требуется, чтобы оборудование полностью находилось в жидкости. В результате теплофизические свойства по совокупности характеристик оказываются выше у Coolant.

Теплоноситель Coolant — это не полимеризующийся диэлектрик. Одним из главных преимуществ системы охлаждения на его основе является то, что она одинаково подходит как для домашних майнеров, так и для крупных проектов, не имея проблем с масштабируемостью. Охлаждение оборудования происходит равномерно, поскольку теплопроводность жидкости выше, чем у воздуха. Это обеспечивает термостабильность внутри ячеек. Также мы подбираем оптимальные насосы и теплообменники, исходя из характеристик задействованного оборудования. «Кулант» без запаха, не токсичен, безопасен для людей и животных, следы с поверхностей легко удаляются. Б/у оборудование перед погружением проходит минимальную обработку, обеспыливание и удаление системы воздушного охлаждения.

Теплоноситель Coolant можно хранить и эксплуатировать в частично герметичных ёмкостях. Он практически  не испаряется в аналогичных условиях, поэтому в однофазной системе охлаждения не столь критична герметичность ёмкости. Его характеристики подтверждены в ходе испытаний.

Важным вопросом остаётся пожарная безопасность. Да, при определённых условиях (после достижения температуры воспламенения всего объёма теплоносителя, которая значительно выше температуры вспышки 225 градусов Цельсия) горение теплоносителя возможно. В первую очередь происходит возгорание смеси пара и воздуха, вспышка паровоздушной смеси, а не всего количества теплоносителя (около 60-80 литров). При этом температура вспышки теплоносителя в 2 раза превышает предел рабочей температуры чипов погруженных устройств. Прежде чем это произойдёт, сработает либо система защиты ASIC, GPU или FPGA, либо автоматика защиты установки. Дать искру ничего в ёмкости не сможет, к тому моменту оборудование уже отключит автоматика защиты. Кроме того, наши ячейки и каркас стойки выполнены из стали, что повышает уровень пожарной безопасности.

С точки зрения полезной утилизации тепла однофазная система на базе Coolant также эффективнее двухфазной. Поскольку выходные температуры выше, проще осуществлять нагрев (догрев) воды. В двухфазке сложнее реализовать систему и дополнительно учитываются многие нюансы. В установке BiXBiT реализовано наиболее простое и удобное решение, призванное минимизировать поломки и выход из строя отдельных элементов. Специалисты компании могут реализовать любое решение, в том числе на базе Novec (3M), но его цена вырастет пропорционально затраченным ресурсам. Нет ничего невозможного, весь вопрос лишь в конечной стоимости продукта, его ремонтопригодности и доступности для майнеров любого уровня.

Сравним характеристики Coolant с основными жидкостями Novec:

Главным преимуществом нашего теплоносителя является цена. Ниже приведена стоимость жидкостей Novec 7100, Novec 7500 и Coolant. Объём 20 литров, валюта — российские рубли. Не забываем о том, что плотность Novec выше и в литрах требуется больше жидкости (в 1,6 раза), нежели один к одному в кг (как она продаётся поставщиками):

Комментарии излишни. При сопоставимых характеристиках, наша разработка почти в 50 раз дешевле, чем жидкость 3M, это и обусловило её выбор. Разумеется, каждое решение имеет право на существование, но в условиях застоя на рынке криптовалют, когда каждый думает о том как можно сэкономить, наша компания нашла оптимальное решение. Оно не идеальное, но позволяет поддерживать оптимальное соотношение «цена-качество».

Оперативные новости в нашем телеграм-канале!