NNablaNASにFairNAS（Chu et al. ICCV2021)とOnce-for-All, OFA（Cai et al. ICLR2020）を追加しました！FairNASとOFAは簡便で高効率なone-shot neural architecture search (NAS)の学習アルゴリズムです。
FairNAS
One-shot NASアルゴリズムの問題としてsuper-netの性能が学習シナリオに大きく依存することが知られています。One-shot NASアルゴリズムはsuper-netに含まれる異なるアーキテクチャを学習するために、ランダムにsuper-netの一部を選択しながら学習します。
FairNASはsuper-net学習時に(1) expectation fairness、(2) strict fairnessを保証するようなランダムなパス選択を行います。例えば、strict fairnessはsuper-netの各パラメータが均等に選択されることを保証します。これにより、学習されたsuper-netからより正確な性能のランキングが得られます。
OFA
OFAはsuper-netを一度だけ学習し、追加のファインチューニングなしで性能の良いsub-networkを取り出すことができます。すなわち、学習とサーチを分離することで計算コストを削減します。
OFAの探索空間は多くのsub-network（>10^19）を含み、様々なハードウェアプラットフォームに適用できます。具体的には、CNNのアーキテクチャの主な要素である解像度、カーネルサイズ、チャネルサイズ、深さを選択できます。大きな探索空間を効率的に学習するために大きなsub-networkから小さなsub-networkへ順に学習するprogressive shrinkingアルゴリズムを用います。
NNablaNASにFairNASとOFAが実装されたことで、探索アルゴリズムとして選択できるようになりました。さらにexampleを公開しており、分類タスクでのone-shot DNNアーキテクチャ探索を試すことができます。
