密度の問題【特集】

チップはより高温になり、ラックは高密度化する。将来のデータセンターの構築に着手する必要がある

より速く、よりパワフルなコンピューターへの飽くなき要求が一向に衰えを見せない中、チップ設計者らは、老朽化した半導体アーキテクチャからより多くのパワーを引き出すためのシンプルな方法を思いつきました。それは、より多くの電力を流すことです。

HPEのハイパフォーマンスコンピューティング部門CTOであるニコラス・ドゥーベは、挑戦の積み重ね

サーバーの設置面積が問題にならなかったとしても、データセンターでは、特にHPCの場合、ラックの密度を下げるだけではTDP（ Thermal Design Power： 熱設計電力）の高いチップに対応できません。「我々は緊密に結合されたワークロードを実行しているため、すべてのコンピュートノードとすべてのサーバーは、隣接するノードとの通信だけでなく、他のノードとも通信する必要がある、しかし、他のシステムでは、数百万スレッドの並列処理が行われており、すべてが一緒になっている」

「エクサスケールシステムの多くは、GPUごとに200ギガビットで繋がれており、各ノードにはCPU 1基 と GPU 4基 が実装されているため、それぞれが800ギガビットを入出力してデータを転送している」

これらのファブリック接続を処理するために、「リーフスイッチとノードの間の最後の接続部分をカッパー（銅線）のままにして、200ギガビットでそれを実現しようとしている」もちろん、それは短距離でしか機能しないので、高密度は、私たちが求めている高い接続性によってもたらされるのです」

これは、400kWのラックをどうやって冷却するか？という次の課題に繋がります。「空冷では到底無理で、文字通りラックの前に風洞を設置することになる」とデュベは言います。

HPCはこのような変化の先頭に立っていますが、特に機械学習やデータ分析を擁する企業を始め、より重いワークロードはあらゆる業界に訪れてくるとデュベは主張しています。「これは、エネルギー省の研究所のようなハイエンドな場所だけではなく、ほぼすべてのデータセンター、そしてコロケーションサイトにもやってくる」と彼は言います。

アイスランドでHPCおよびコロケーション事業を手がけるVerne Global社のCTOであるテイト・カントレルもこれに同意しています。「私たちは、投資家から資金を預かる際、その構築方法によっては、15年から30年の資産に投資することになる」と彼は言います。「今、空冷しかできないデータセンターを建設しようとしている人は、考え直した方がいいかもしれない」

カントレルは、より小さな低負荷のワークロードと、冷却に細心の注意を払う必要のある高密度のワークロードとのハイブリッドな未来を想定しています。

これは業界にとって大変な移行になるだろうと彼は警告しています。「私はある会議に出席していたのだが、その会議について、誰が主催したのか、どんなテーマであったのかは言えないが、あるハイパースケーラーが口を開いて、『世界で一番見たくないのは、液冷化を強要されることだ』と言っていた」

彼は続けます。「彼らは「あなたたち技術者は、それは可能だと言い、スライスパン（注※ スライスパン は当時画期的であった為画期的なものの例えに使われる）以来の素晴らしいものだと言うが、我々はそこに行きたくはない」と言う。なぜなら、多くのインフラを改修しなければならない状況の中で、彼らのビジネスモデルを機能させるには、経済的な課題があるからです」

デュベも同様に、必要なインフラや水の供給を考慮することが重要だと言います。「また、重量も考慮しなければならない。床の耐荷重は、これまでよりもかなり大きくなるかもしれない」

高密度化が進めば、他にもさまざまな工夫が必要になります。

Morrison Hershfield社の電気工学部門VPのマイク・モスマンは、「入力されたAC電源をチップレベルのDC電圧に変換するために、電源ユニットで無駄な電力が使われているため、効率は悪くなっている」と話しています。

「問題は、既存インフラを保有している多くの人々に、新しいものを採用してもらおうとすることです」

デュベ氏も同意見です。「データセンターでは高圧配電を計画する必要がある。しかし、それは交流高圧なのか直流高圧なのか？また、ACとDCの変換はどこで行うのか？」

ここでもHPCがこのような試みをリードしていますが、「最終的には、ハイパースケーラーや業界全体がどこに向かっているかにかかっている。適切なコスト構造を実現するには、HPC単独で牽引することはできず、より広範な市場がそれを引き受ける必要がある」

さらにモスマンは、高密度コンピュートの未来を定義するためには、より広範な市場が協力する必要があると主張しています。「高密度コンピューティングについて、私たち電気技術者は次のように言っている。”これは機械的な問題です…しかし、（その問題を）どうやって解決するかというと、私の好きな言葉、『follow the money （お金の動きを追え） 』を守らなければなりません”」

この記事は海外Data Centre Dynamics発の記事をData Center Cafeが日本向けに抄訳したものです。