ソニーが本日発表した超大規模分散GPU学習の取り組みの成果について紹介いたします。
https://www.sony.co.jp/SonyInfo/News/Press/201811/18-092/index.html
詳しくはプレスリリース、技術レポートをご参照いただくとして、大まかな内容は以下の通りです。
- Neural Network Librariesと産総研のABCIを活用し超大規模分散GPU学習環境を検証
- 最大2176基のGPUを利用し、ResNet-50のモデルでImageNetを224秒で学習し世界最速を実現※
- 技術的な詳細はこちらで公開されています
Neural Network LibrariesによるGPU分散学習機能はpipコマンドでインストール可能なバイナリで提供されています。詳しくはドキュメンテーションをご覧ください（本検討に用いたのはv1.0.0からブランチしたABCIにカスタマイズ版したものです）。
また、GUIディープラーニング開発環境Neural Network Consoleのクラウド版ではインフラのセットアップなしにNeural Network Librariesによる8並列のGPU分散学習がご使用いただけますのでぜひご活用ください。
