Neural Network Libraries v1.5.0をリリースしました！Transformer, Weight Normalization, Pix2PixHD, ESRGAN, MAMLなど、多くの強力な新機能・Exampleが追加されました！
また、すでにアナウンスがあったように、本バージョン以降、Python 2系のサポートはされませんのでご注意ください。
スポットライト
Transformer
Transformer (Vaswani et al., NIPS 2017)はマルチヘッドアテンション機構を用いたモデルであり、機械学習の様々なタスク、特に自然言語処理や音声認識において強力な性能を発揮することが知られています。近年のSOTAモデルであるBERTにおいてもTransformerが重要な役割を果たしています。このTransformerの使い方についてのチュートリアル記事もすぐに公開される予定ですので、ぜひチェックしてみてください！
Weight Normalization
Weight normalization (Salimans and Kingma, NIPS 2016)はニューラルネットワーク内の重みに関するreparametrizationの手法の1つであり、収束が速くなることが報告されています。
Pix2PixHD
Pix2PixHD (Wang et al., CVPR 2018)は高解像度のImage-to-Image Translationが可能なモデルです。図にあるように、セマンティックラベルを実写のようなリアルな画像に変換することができます。
| Input | Output | |
|---|---|---|
 |
 |
|
MAML
MAML (Model-Agnostic Meta-Learning) (Finn et al., ICML 2017)はメタ学習において有望な研究であり、モデルに対し「学習方法を学習させる」ことを目的とした手法です。これを用いて訓練されたモデルは限られた学習サンプルだけで新しいタスクに適応できるようになることが期待されています。
ESRGAN inference
ESRGAN (Enhanced Super-Resolution Generative Adversarial Network) (Wang et al, ECCV 2018 Workshop)はGANを用いて画像の超解像を行うモデルです。著者らによって提供されている学習済みパラメータを変換することでNeural Network LibrariesでもESRGANを用いた超解像の実行が可能です。変換に必要なコードやその手順はこのページをご覧ください。
レイヤー関数の新規追加・改善
- WarpByFlow関数 (CPU / CUDA)
- batch_det関数の追加
- テストモード時にBatchNormのBackward演算が実行可能に
- batchinv関数の追加
- clip_by_valueの引数としてスカラ値を入力可能に
- Orthogonalイニシャライザ追加
ユーティリティ/フォーマットコンバーターの機能改善
- ONNX: opset 10と11のサポートを追加 (Importer / Exporter)
- APIレベルアップデート
- SNPE用ONNX Exporter改善
- 冗長なReshape演算を削除
- ONNX Importer: ONNX operationsサポートを追加
- ONNX Exporter: NNabla関数のサポートを追加
- 複数データセットの保存・読み込みのテストケース追加
- Dockerfileの修正(pip installのbinary-onlyオプション削除) (CPU / CUDA)
バグ修正
- Fix unaligned word data.
- nnabla.proto保存時の問題を修正
- ndiヘルパー関数のデバッグ・アサーションの修正・改善
- コーディングエラーの修正
- global_average_pooling.cppのunused variable warningsを解決
ドキュメントの追加・修正
- 未記載の関数・Solverをドキュメントに追加
- 量子化についてのドキュメント追加
- 外部コントリビューター向けauto formatの使用法/ガイドライン追加
- backwardメソッドの用法の説明を充実
