現代の高負荷・高密度データセンターを考える【特集】

Data Center Dynamics
2017.11.01
2,714 views

ダイレクトチップとオンチップ冷却手法：

ダイレクトチップ冷却、またはオンチップ冷却手法は、近年のHPC市場で大きな進歩を遂げた冷却手法です。このソリューションでは、サーバーの中に水配管が張り巡らし、コンピュータのCPU・GPUに直接取り付け、高効率・高密度サーバーを冷却します。サーバーから放出される熱のうち、約70％の熱量はこのダイレクトチップ用の冷却装置によって徐熱され、配管を移動してクーラント分配ユニット（ CDU ）へと移送されます。冷却水はCPUやGPUの熱によって温度が上がりますから、CDUは温まった水を別の閉回路冷却システムを利用して徐熱し、コンピュータルームからの熱を排除します。基本的にはこの繰り返しによってサーバー室からおよそ70%の熱は除去することが可能ですが、残りの熱（30％以上）は、既存の室内空調システムによって排熱する必要があります。

ダイレクトチップ冷却に一般的に使用される温水冷却システムは、閉回路乾式冷却器（大型ラジエータのようなもの）や冷却塔といった「冷凍プラント」を使用しない冷却システムであると考えられており、近年ではその基準は米国暖房冷凍空調学会（ ASHRAE ）によって、レンジW-3、W-4（水温範囲2〜46℃）の液体を生成するよう明確に数値化もされています。ダイレクトチップ冷却は水温W3-W4範囲の供給水温で動作することができるので、典型的な冷蔵冷却システムよりも大幅に少ないエネルギーで動作し、チップ放熱除去にも十分対応できます。

ダイレクトチップ冷却をうまく利用すれば、建物全体の PUE 改善にも活用できます。ただし、この廃熱回収手法のメリットを享受できるかどうかは建物の HVAC システムによるところもあります。

暖房や空調といったHVAC設計は世界各国で異なります。ヨーロッパの多くの国では、ほとんどの建物で水ベースのターミナルユニットが普及しているため、低位ではあっても廃熱回収の恩恵を受けることができます。対照的に、北米のHVAC建物設計のほとんどは、電気再熱端子ボックスを備えた中央制御型の空気暖房・冷却システムを使用しているので、ダイレクトチップまたはオンチップ冷却システムによる低位熱回収にはほとんど使用されていません。温水を再利用し流通させる実現性については、使用前に温水循環インフラ基盤を構築することと併せて検討されるべきでしょう。

ローレンスバークレー国立研究所が最近実施した「電子機器の直接液体冷却」研究において、最先端のダイレクトチップ冷却システムが叩き出した最高値は、最適化された実験室条件下で70％であったと結論付けました。この結果は、興味深い逆効果の結果を残しました。なぜならば、コンピュータシステムから大量放出される熱（除去できない30％）を、周囲の室内空調は依然として排除しなければならず、例えば、コンピュータ室の空調機（ CRAC ）やコンピュータルームエアーハンドラー（ CRAH ）のような伝統的で効率の低い手段によって冷却しているからです。

ダイレクトチップまたはオンチップ冷却システムを導入することで得られる効果を深く理解するためには、HPCクラスタと建物全体のPUEを直接関わり合うエネルギー占有率の一部として考慮しなくてはなりません。例えばダイレクトチップ冷却方式を35kW HPCラックで使う場合、コンピュータルームへの排熱量は少なくとも10.5kW（30％）に抑えることができ、コンピュータラック６基（高密度ストレージアレイを除く）からなる平均的なHPCクラスタでダイレクトチップまたはオンチップ冷却システムを使う場合、少なくとも計60kWの熱を室内へと排出することとなります。

従来、HPCクラスタは国立研究所や大規模な研究施設で限定的に使用されてきたために、効率性に関する議論が十分に行われず、見逃されてきました。ダイレクトチップやオンチップ冷却を導入する一方で、CRACまたはCRAHによって残留熱を排除する（最も一般的な）方法を利用することは、効率性の向上に対しては大きな打撃を与える結果となるでしょう。

データセンター内に必要なインフラ基盤だけでなく、オンチップ冷却システムの検討時にさらに重要なポイントとして、サーバーラック内部を考慮すると新しい課題が見えてきます。小さなチップを冷却する温水を取り入れるために、それぞれのチップへと配管された多数の小さなホースを通して水を送ります。これにより、ITスタッフは、ホースが何本も詰まっているラックの背面と、冷却システムの入口と出口の水に接続するための分配ヘッダーを見ているだけで済みます。

ダイレクトチップ冷却システムは、HPCクラスタのマザーボードに直接接続され、これは多かれ少なかれ永久使用可能なように設計されています。平均的なHPCクラスタは、通常、需要または予算に基づいて3〜5年ごとに更新されます。その点を念頭に置くと、ダイレクトチップまたはオンチップ冷却インフラ基盤は、サーバー更新時にリプレースのコストがかかることも考慮する必要があります。

ダイレクトチップ冷却手法は、今日の高性能コンピュータ・クラスタを効率的に冷却する上で大きな進歩をもたらしますが、コンピュータルームや建物の大型化に伴い、総合的な建物性能、コスト意義、総投資利益率からみた耐用年数等も考慮に入れなければなりません。

1 2 3