Neural Network Libraries v1.14.0をリリースしました！
CUDA11とcuDNN8のサポートを追加しました！さらに、新たな音声合成モデルと最適化アルゴリズムAdaBeliefが利用可能になりました！
スポットライト
CUDA11/cuDNN8のサポート
CUDA11とcuDNN8のサポートが追加されました！
CUDA11ではNVIDIAの新世代GPUアーキテクチャであるAmpereをサポートし、新たな精度であるTF32を含む様々なデータ型を利用できるようになり、混合精度演算や推論パフォーマンスなどがより向上されています。cuDNN8ではConvolution演算のさらなる最適化などの新機能・機能改善が含まれています。
音声合成モデル: Tacotron 1 & 2 / WaveGlowのExample追加
新たな音声合成モデルが多数追加されました！
Tacotron 1とTacotron 2はテキスト音声合成システムです。文字列入力から直接音声を生成することができるモデルになっています。
WaveGlowは最尤推定を用いて学習を行うFlowをもとにしたネットワークであり、メルスペクトログラムから高品質な音声を生成できるモデルです。
画像と言語だけでなく、音声もまたディープラーニングの適用が進んでいる分野となりつつあります。私たちは今後も音声を対象とした新たなモデルを追加していきます！
最適化アルゴリズムAdaBeliefが新たに追加されました！
AdaBeliefはこちらの論文で提案された最適化アルゴリズムであり、現在の勾配方向の”信頼度”によってステップサイズを調整することで学習の安定はもとより、より高速な収束が期待されるものになっています。
レイヤー関数等の新規追加・改善
- Norm / NormNormalization (CPU / CUDA)
- Juntang Zhuangによる最適化アルゴリズムAdabeliefの追加 (CPU / CUDA)
- ScatterAdd (CPU / CUDA)
- 単項/二項演算のinplace対応 (CPU / CUDA)
ビルド関連
- ONNXのバージョンを1.6.0に限定
- libarchiveの移動 (CPU / CUDA)
- chocolateyを用いたビルド (CPU / CUDA)
- ランタイム用Dockerfileの更新
- ビルド用Dockerfile更新
- CUDA10.2向けDockerfile更新
- nnabla_tf_converterをインストールするようにDockerfile更新 (CPU / CUDA)
- 利用するpipのアップグレード
- APIレベルのアップデート
