OpenAIがGPT-4をリリース、マイクロソフトは背後のAzure AIインフラを詳述

チャットボット「ChatGPT」が人工知能業界を騒然とさせた数ヶ月後、OpenAIは、大規模言語モデルの次世代モデル「GPT-4」を発表しました。

しかし、同社がオープンなAI団体として当初の約束を果たすことを期待していた人々にとって、今回の発表は期待外れのものでした。「GPT-4のような大規模モデルの競合状況と安全性の両方を考慮し、このレポートには、アーキテクチャ（モデルサイズを含む）、ハードウェア、トレーニング計算、データセット構築、トレーニング方法、あるいは同様のものに関するさらなる詳細は含まれていない」と技術報告書では注意を促しています。

モデルに関する詳細の多くは謎に包まれていますが、明らかになっているのは、OpenAIがシステムのトレーニングに、出資者であるマイクロソフトのクラウドサービスを利用していることです。

これはもともと、マイクロソフトのAzureデータセンターでカスタムメイドの特殊なハードウェアを開発していたものでしたが、マイクロソフトは現在、学んだことをより広範なAI市場に展開する計画を立てています。

OpenAIの社長兼共同創業者であるGreg Brockman氏は、マイクロソフトのブログ記事で次のように述べています。「Azureとスーパーコンピュータを共同設計することは、我々の要求の厳しいAIトレーニングニーズを拡張し、ChatGPTなどのシステムに関する我々の研究と調整作業を可能にするために極めて重要であった」

マイクロソフトは、高スループット、低遅延のInfiniBandネットワークで相互に接続された数万台のNvidia GPUを、前例のない規模で導入してきました。そして同社は、GPUおよびネットワーク機器のサプライヤーがこれまでテストしてきた限界を超え、未知の領域へと突き進みました。

Azure high-performance computing and AI の製品責任者である Nidhi Chappell 氏は、「これらの仕事は何千もの GPU にまたがるため、信頼できるインフラが必要であり、さらにバックエンドのネットワークがあれば、より高速に通信でき、何週間もの長期にわたってそれを実行できる」と述べています。

「これは、GPUを大量に買ってきて繋げば連携して動き出すというものでもない。最高のパフォーマンスを得るためには、システムレベルでの最適化が必要であり、それは何世代にもわたる多くの経験によってもたらされるものだ」

OpenAIのインフラ構築の経験は、より広範なAzure AIサービスに展開されていると、同社は述べています。

マイクロソフトの AI プラットフォーム担当コーポレートバイスプレジデントである Eric Boyd氏は次のように説明します。「大規模なトレーニングワークロードの実現に焦点を当てた特別な目的のクラスタを構築する必要があると考え、OpenAI はそのための初期証明の 1 つとなった。我々は彼らと緊密に連携し、彼らがトレーニング環境を構築する際に求めているものは何か、何が重要なのかについて学んだ」

マイクロソフトは今週、Nvidia Quantum-2 InfiniBandネットワークで相互接続されたNvidia H100 GPUを8基から数千基までのサイズでオンデマンドを可能にするND H100 v5 VMを発表しました。

「限界を超え、最先端を行く人たちからの初期のフィードバック・レッスンは、このインフラが前進する際に何が必要とされるかについて、多くの洞察と先取りを与えてくれている」 と、Boyd氏は述べています。

この記事は海外Data Centre Dynamics発の記事をData Center Cafeが日本向けに抄訳したものです。