Cloudflare 、生成AI推論用途でエッジにNvidia GPUを導入 – 最大300のデータセンターに展開へ

コンテンツ・デリバリー・ネットワーク（CDN）企業のCloudflareは、同社のグローバル・エッジ・ネットワーク全体にNvidia GPUを導入する計画を立てています。

このプラットフォームは、人工知能アプリケーション、特に大規模言語モデルのような生成AIモデルを対象としています。なお、採用予定のNvidia GPUのモデルについては明らかにされていません。

「ネットワーク上のAI推論は、多くのビジネスにとってスイートスポットになるだろう。個人データはユーザーが物理的にどこにいても近くにとどまり、しかも近くにあるため非常にコスト効率よく実行できる」と、CloudflareのMatthew Prince最高経営責任者（CEO）兼共同創設者は述べています。「Nvidiaの最先端GPU技術を当社のグローバルネットワークに導入することで、これまで多くの顧客にとって手の届かなかったAI推論を、グローバルにアクセスしやすく、手頃な価格で利用できるようにする」

CloudflareはNvidia Ethernetスイッチも導入し、さらに、Nvidia TensorRT-LLMとNvidia Triton Inference serverを含むNvidiaのフルスタック推論ソフトウェアも使用する予定です。

これらのGPUは、2023年末までに100以上の都市に導入され、2024年末までに「Cloudflareのネットワークが展開するほぼすべての場所」に導入される予定であると同社は述べています。同社は世界300都市以上のデータセンターで事業を展開しています。

NvidiaのハイパースケールおよびHPC担当副社長であるIan Buck氏は次のように述べています。「Nvidiaの推論プラットフォームは、生成的AIアプリケーションの次の波を促進するために不可欠な存在です」

「Cloudflare上でNvidia GPUとNvidia AIソフトウェアが利用できることで、企業はレスポンス性の高い新たな顧客体験を創造し、あらゆる業界にわたりイノベーションを推進できるようになるだろう」

ローンチ時点では、AI Edgeネットワークは顧客提供モデルをサポートせず、MetaのLlama 2 7BとM2m100-1.2、OpenAIのWhisper、Hugging FaceのDistilbert-sst-2-int8、MicrosoftのResnet-50、Baaiのbge-base-en-v1.5のみをサポートします。

CloudflareはHugging Faceの協力を得て、今後さらに多くのモデルを追加することを計画しています。

この記事は海外Data Centre Dynamics発の記事をData Center Cafeが日本向けに抄訳したものです。