わずか2分！ImageNet/ResNet-50の学習時間をさらに短縮

昨年の11月、私たちは224秒でImageNetの学習を実現し、世界記録を達成したのは以前お伝えした通りです。

それから4か月後、私たちはさらなる高みに到達しました。今回学習に要した時間は122秒です。前回の記録のほとんど半分となります。

詳細は前回の論文のver.2をご覧ください。

今回の技術的なポイントは以下となります。
– バッチサイズコントロールとラベル平滑化による大規模ミニバッチ学習の安定化
– 2Dトーラス上でのall-reduce実装による勾配同期のオーバーヘッドの削減

私たちはニューラルネットワークの学習をさらに速くしていきます！