Appleは生成AIのトレーニングに1日あたり数百万ドルの予算

社内システムはGPT-3.5より進んでいる

Appleは複数の生成人工知能モデルを開発しており、その計算予算には1日あたり数百万ドルを費やしています。

The Informationによると、Foundational Modelsと名付けられた会話AIチームはわずか16人で構成されているということです。同社には他にも、言語モデルや画像モデルを開発している比較的新しいチームが2つあります。

AIへの取り組みは、Googleでの長期の勤務を経て2018年に機械学習・人工知能戦略担当SVPとして入社したJohn Giannandreaが指揮を執っています。幅広いAIグループの中で、基礎モデルチームは、Googleで15年を過ごした後、2021年に入社したRuoming Pangが率いています。

同グループは、AppleCare（保証と技術サポートのための同社のアフターサービス）を利用する顧客と対話できる大規模言語モデル（LLM） chatbotなど、いくつかの高度なモデルを開発してきました。

しかしGiannandreaは、AIの言語モデルを使った chatbot の有用性に疑問を抱いていることを同僚に語っている、とThe Informationは報じています。この見解は、この1年で変わり始めています。

Siriチームは別途、音声アシスタントにLLMを使うことを計画しており、いくつかのモデルを開発しています。同社は、最も強力なAjax GPTは、ChatGPTの初期バージョンを動かしたLLMであるOpenAIのGPT 3.5よりも多くのことができると考えています。しかし、OpenAIはその後、より強力なモデルをリリースしています。

GiannandreaとPangの両氏はGoogle出身で、AppleにGoogle Cloudを利用するよう説得し、特に機械学習のトレーニングにGoogle CloudのカスタムTPU（Tensor Processing Unit）チップを利用するよう説得しました。AjaxのGPTを訓練するために開発された機械学習フレームワークのAXLearnは、Pangの研究に一部基づいており、TPU用に最適化されています。

AppleのGoogle Cloudとの契約は、Google検索がSafariブラウザのデフォルト検索プロバイダーであるなど、両社のビジネス上の取り決めが広範であるため、割引されていると考えられています。同社はGoogleの最大のクラウド顧客の1つと考えられていますが、Amazon Web Servicesの主要ユーザーでもあります。

この記事は海外Data Centre Dynamics発の記事をData Center Cafeが日本向けに抄訳したものです。