機械学習の二酸化炭素排出量は縮小する、Googleが主張

トレーニングのワークロードをチューニングし、より効率的な運用が可能

Googleの新しい研究によると、機械学習（ML）は急速に成長していますが、技術が向上するにつれてその二酸化炭素排出量は横ばい、あるいは縮小していくことが分かっています。

Googleの研究者が発表したIEEE Computeに掲載予定の論文によると、効率的なMLモデルを選択し、できればクラウド上で最適化されたプロセッサーで実行すれば、エネルギー使用量を削減できます。これらの対策を合わせると、MLのエネルギー使用量を100倍、二酸化炭素排出量を1000倍削減できるとしています。

この論文ではこのような削減を行ったとしても、MLが Google の総エネルギー使用量の10〜15パーセントという大きな割合を占めていることを認めています。

よく考えること

Google ResearchのBrain TeamのBrian Patterson氏は、論文「The Carbon Footprint of Machine Learning Training Will Plateau, Then Shrink」についてのブログ投稿で、「我々は、エネルギーと二酸化炭素排出量を大幅に削減する4つのベストプラクティスを特定しました。

この論文では、自然言語処理（NLP）モデルのトレーニングに使用される、データセンターのオーバーヘッドを含むMLハードウェアの運用にかかるエネルギーコストに着目しています。この論文では、適切なハードウェアと消費モデルを使用することで得られる一連の利点、およびGoogleのクラウドワークロードの特殊な分散方法による利点を挙げています。

ユーザーが 「スパース 」なMLモデルを選択すれば、コンピューティングを3～10倍削減できるとしています。またMLに最適化された専用ハードウェアを使用すれば、エネルギー効率はさらに2〜5倍向上するといいます。Patterson氏のグループはオンプレミスのデータセンターではなく、クラウド上のリソースを使用することで、効率を約2倍に高めたことも評価しています。

さらにGoogleのクラウドでは、最もクリーンなエネルギーを利用できる場所を選ぶことで、二酸化炭素排出量を最大10倍まで削減できると主張しています。

特化したハードウェアとクラウド運用のメリットはよく知られています。このグループは、MLのアプローチと、最適化されていないシナリオを比較しているように見えます。ワークロードをグリーンな場所に置くという選択も聞こえはいいが、グリーンなリソースを「占有」してしまい、他のワークロードが化石燃料の電力で稼働することになりかねません。

Patterson氏は、この潜在的な批判に応えています。「マップの最適化によって、最もグリーンな場所がすぐに最大容量に達してしまうことを心配する人もいるかもしれませんが、効率的なデータセンターを求めるユーザーの要求によって、グリーンなデータセンターの設計と導入が継続的に進歩するでしょう。」いずれにせよ、Googleは2030年までにすべてのデータセンターが、100%ローカルで発電されたカーボンフリーエネルギーで24時間稼働することを約束しています。

この論文は、GoogleがMLのハードウェアとソフトウェアを57倍も改善したと主張するGoogle自身の研究を称えたものでもあります。これは、より優れたMLモデルによるものもあり、Googleが最近発表したPrimer MLモデルは、2017年に登場したGoogleの旧モデルTransformerと比較して、精度を落とすことなく計算量を4倍に削減しました。一方、Googleが最近発表したTPUv4、MLチップは、Nvidia P100の14倍の効率であるとされているが、P100が5年ほど前のものであることを考えると、それほど大きな驚きではないでしょう。

基本的に、この論文では、GoogleのデータセンターでGoogleのハードウェア上で最新のモデルを実行する最新のML実装は、2017年にオンプレミスのデータセンターでNvidiaのハードウェア上で実行する古いモデルよりもはるかに優れていると言っています。

全体として、GoogleのML利用は増加しましたが、効率性の向上により「この負荷の増加をほぼ補っている」として、MLのトレーニングと推論はGoogleのエネルギー使用量の10～15パーセントに抑えられていると同論文は述べています。

Patterson氏のブログでは、より優れたMLモデルを検索して採用する自動プロセス「Neural Architecture Search（NAS）」を実行する際のエネルギーコストについても触れており、効率は進化していくことになります。「NASによって発見された最適化されたモデルは、より効率的であることが多いため、NASの1回限りのコストは、通常、その後の使用による排出削減によって相殺されます」と、Patterson氏は言います。

NASのエネルギー使用量を調べた研究はありますが、データを誤って解釈している研究もあると言います。「残念なことに、その後の論文の中には、NASの推定値を、発見したモデルのトレーニングコストと誤解しているものがあります。」これは、自動車を製造するためのCO2eを100倍過大評価し、その数字を自動車運転のためのCO2eとして使用するのとほぼ同じ規模の誤差を生み出すと警告します。

全体としてPattersonは、Googleが使用した手段は他の場所でも簡単に使用でき、「MLトレーニングのグローバルなカーボンフットプリントが増加するのではなく、実際に縮小するように曲線を曲げる好循環 」を生み出すと述べています。

Pattersonは、Googleの研究者の大規模なチームに感謝しています。この論文の他の著者は、Jeff Dean, Joseph Gonzalez, Urs Hölzle, Quoc Le, Chen Liang, Lluis-Miquel Munguia, Daniel Rothchild, David So, Maud Texierです。

この記事は海外Data Centre Dynamics発の記事をData Center Cafeが日本向けに抄訳したものです。