NvidiaのTensorRTがGoogleのTensorFlowのフレームワークと統合

Nvidiaの年次報告では、KaldiとKubernetesの最適化およびアクセラレーションも明らかに

Nvidiaは、その年次GPU技術会議において、いくつかの業務提携と、ソフトウェアプラットフォームのアップデートを発表しました。その内容は、潜在的な推論マーケットを拡張して世界中にハイパースケールサーバー3,000万本を展開すると断言しています。

その中で最たるものは、Nvidiaが手がけるTensorRTの最新版です。ディープラーニングの推論最適化とランタイムをGoogle社のオープンソースの機械学習フレームワークに統合したものです。

次から次へ

Nvidiaのデータセンター部門のGMであるI．バック氏は「GPUアクセラレーションによってディープラーニング推論を行う製品は、巨大なニューラルネットワークであっても、リアルタイムに、最低限のコストで稼働できるようになります」と語りました。

「より高性能のアプリケーションやフレームワークへのサポートを急速に拡張拡大させて、我々はディープラーニングの精度を向上させ、3,000万本ものハイパースケールサーバーにかかるコストを削減することができます」

GoogleのエンジニアディレクターR.モンガ氏はこう付け加えました。「TensorFlowの研究開発チームはNvidiaと密に連携して、Nvidia GPUからディープラーニングコミュニティへ出来る限り最高のパフォーマンスをもたらすでしょう」

「我が社のTensorFlowとNvidiaのTensorRTが一本化されて、今や、8倍の高速推論スループット（一般のGPUが低レイテンシで実行するのに比べて）を、Volta Tensor Core技術を利用することでディープラーニングプラットフォームにもたらしています。これにより、TensorFlow上でGPU推論が最高のパフォーマンスを発揮できるようにします」

大手クラウドサービス事業者の平均的な負荷を基準に考えると、TensorRT4ソフトウェアは、データセンターにかかるコストを70%までカットできるとNvidiaは断言します。

SAPの機械学習部門長M.ノガ氏は「NvidiaのTesla V100 GPUを搭載した当社のディープラーニングベースの推奨アプリケーションをTensorRTに実行させるテストをしたところ、推論スピードとスループットが、CPUベースのプラットフォームに比べ、実際45倍になりました。我々はTensorRTが法人顧客の生産性を劇的に向上させうると確信しています」

Nvidiaは、Google発祥であるオープンソースシステム向けにGPUアクセラレーションを発表しました。コンテナ型のワークロード管理プラットフォームKubernetesです。同社は、KubernetesはGPUの性能を向上させオープンソースコミュニティに貢献すると述べています。

評価の高い音声認識フレームワークKaldiもGPU向けに最適化されたとNvidiaは述べています。Nvidiaは、AmazonやFacebook、マイクロソフトと緊密に連携して、Caffe2やChainer、CNTK、MXNetそしてPytorchのようなONNXフレームワークを利用する開発者が、Nvidiaのディープラーニングプラットフォームを容易に展開できるようします、と補足しました。

– Data Center Dynamics
– 原文はこちら