エクイニクス、Metalクラウドサーバーの本番環境に二相式冷却装置を導入

コロケーション大手のエクイニクスは、液体を沸騰させて凝縮させる二相式液冷を、同社のIaaSサービスであるMetalの本番環境サーバーに採用しました。

同社は1年前から共同イノベーションセンターでZutaCoreの液冷システムのテストを行っており、2022年6月にMetal IaaS(infrastructure-as-a-service) サービス用の本番サーバーにこの二相式技術を一部導入しました。同社の最新ブログでは、ニュージャージー州セコーカスにあるNY5 データセンター で、ラックいっぱいの二相式冷却装置が6カ月間安定して稼働していることが報告されています。

液冷は、サーバーからより効率的に熱を取り除くことができるため、要求の厳しいアプリケーションで使用されるようになってきています。二相式冷却は、液体が沸騰する際にさらに多くの熱を奪うため、その効果をさらに高めることができます。

エクイニクスのフィールドCTOであるMy Truong氏は次のように述べています。「最初の（二相式）液冷運用環境では、過度の電力消費を伴うCPUやGPUを搭載しない、標準的なハードウェアセットを採用した。便宜上、すでに導入済みの空冷式シングルソケットAMD SP3プラットフォーム（当社の顧客がm3.large.x86と呼ぶベアメタルインスタンス）を転用することを選択した。これらの標準的な19インチ1RUサーバーは、当社にとっての大量生産システムであり、比較テストにすぐに利用できるセットでした」

これらのプロセッサは、既存の空冷システムと互換性のある熱設計電力（TDP）である最大200Wの熱を発生させることができますが、エクイニクスは今年、より高いTDPのサーバーの登場を見込んでおり、既知の数量で二相式冷却のテストを行いたいと考えていました。また、エクイニクスが2020年に買収したPacket社開発のクラウドサービス「Equinix Metal」のコントロールプレーンやカスタマーポータルを稼働させるサーバーなどの本番システムにも使用したいと考えていました。

エクイニクスのエンジニアは、ラックの底に6RUの液-気熱交換器を設置し、マニホールドでそのラック内の「20台以上」の1RUシステムに液体を分配しました。青いチューブが冷却液をホットチップに直接取り付けられたリザーバーに運び、そこで蒸発した液体が赤いチューブでマニホールドに運ばれて凝縮され、熱交換器に戻されるというプロセスを、ブログのフォトギャラリーで詳しく解説されています。

「サーバーからマニホールドまでの短い横方向の配線が重要」とTruong氏は言います。「ラック間でマニホールドを共有することは、推奨される設置方法ではありません」

ZutaCoreシステムは、33℃（92°F）で気化するNovec液を使用しているため、リザーバーはチップをその温度に保ちます。

Truong氏は、「私たちは何十年もの間、データセンターチームに対して、液体と電子機器は相容れないと教育してきた」と述べていますが、二相式システムはその問題を最小限に抑えることができます。「マニホールドとクイックコネクションはノンスピル設計で、取り外すと液体が一滴落ちる程度です。また、液剤自体も大気中で完全に蒸発するという便利な性質を持っています」

このシステムは、漏れの可能性を発見するために圧力テストが行われました。

Truong氏によると、このシステムはZutaCoreが推奨するよりも少ない熱しか除去できないが、プロセッサの温度を常に52℃以下に保つことが可能で、「これは負荷時の空冷式1U同等品よりもかなり低い温度である」と報告しています。

同氏は、データセンターのアーキテクチャは間もなく変化するだろうと予測しています。「データセンターの液冷は、従来のHPC分野だけのものから、システムの標準的な要件になることでしょう。エクイニクスのようなコロケーション事業者は、持続可能性を追求する顧客が活用できるよう、建屋や 運用方針を変化させていきます」

コロケーション事業者が運営するクラウドサービスとして、Equinix Metalサービスは、エクイニクスの顧客が将来的に採用する必要があるかもしれないものを試す機会を与えてくれたと、同社は述べています。「自社のIT機器の設置面積が大きいデータセンターの運営企業として、この太陽から3番目の岩をより良い結果に導くために、業界を支援することが可能です」

Truong氏は、液冷の問題点として、業界の主要な効率性指標であるPUEでは測定できないメリットがあることを挙げています。「データセンターのエネルギー効率指標は、主にサーバー、スイッチ、ルーターに空冷とファンが必要であるという前提で作成されましたが、液冷の利点は実際には把握できません。「チップへの直接冷却により、サーバーのファンはほとんど不要になり、総電力使用量を削減しながらPUEを高くすることができます」

NvidiaとVertivは、Total Usage Efficiency（TUE）という新しい指標を提案しており、Truong氏はこれを支持しています。Truong氏は次の様に話しています。「より全体的で最新の指標は、 PUE よりもTUEに沿ったものであるべきです」

一方で最近、二相式冷却の問題が表面化しています。3Mは、Novecを含むPFAS化学物質の健康リスクによる規制強化のため、Novecを段階的に廃止するとしました。これらの規制は、他のベンダーの代替案にも影響を与える可能性があります。

DCDはエクイニクスに対し、今回の開発が同社の液体冷却戦略に影響を与えるかどうかについて問い合わせています。

この記事は海外Data Centre Dynamics発の記事をData Center Cafeが日本向けに抄訳したものです。