Neural Network Libraries v1.17.0をリリースしました!
ExampleとしてFirst Order Motion ModelとStyleGAN2 Distillation, そしてZooming Slo-Moが追加され、新たなレイヤーとしてDeformable Convolutionが利用可能になりました！さらにColabデモもさらに充実しました！
スポットライト
First Order Motion Model
モーションリファレンスとなる動画像を与えることによって任意の一枚絵をリファレンスの動き通りにアニメーションさせることができるFirst Order Motion Modelが追加されました！
また、このモデルをすぐに動かすことができるColabデモ(
)も追加しました。このデモでは、自分で選んだ画像やお使いのWebカメラを用いて撮影した動画像を用いてアニメーションをさせることができます。Colabデモとしては他にも、先日Exampleに追加されたCenterNetのColabデモ()も利用可能です！
StyleGAN2 Distillation
生成モデルとしてはさらにStyleGAN2 distillationも追加されました。このモデルはStyleGAN2ネットワークを利用してペア画像間でのimage-to-image 変換を学習させるものになっています。下記の図のような性別変換/年齢変化といったスタイル変換やイメージモーフィングが可能です！
| Old | Young |
|---|---|
 |
 |
| More Attractive | Less Attractive |
|---|---|
 |
 |
| Without Bangs | With Bangs |
|---|---|
 |
 |
Zooming Slow-Mo
Zooming Slow-Moを実装しました！これは低フレームレート/低解像度の動画に対し、フレーム補完と超解像を適用させることによって高フレームレート/高解像度の動画を生成することができるモデルになっています！
| Original | Zooming Slow-Mo | Only Slow-Mo |
|---|---|---|
 |
 |
 |
Deformable Convolution (CPU / GPU)
Deformable convolutionは通常のCNNとは異なり、タスクごとに適切な受容野を学習し適用することのできる畳み込みモジュールです。Deformable convolution v2も追加されています！
レイヤー関数等の新規追加・改善
- イニシャライザのデータ型をfloat32に変更
- Deformable Convolution (CPU / GPU)
- メモリ最適化: STFT/iSTFT (CPU / GPU)
- メモリ最適化: 正規化関数 (CPU / GPU)
- メモリ最適化およびrepeatモード追加: F.pad (CPU / GPU)
- F.random_shiftにConstantモード追加
- 乱数シード設定用関数追加 (CPU / GPU)
- Convolitionアルゴリズム決定時にヒューリスティックスをデフォルトで使用
- メモリ最適化: Convolution
ビルド関連
ユーティリティの機能改善
- nnabla cliにcallback追加
- Variableにイニシャライザを追加
- .whlにCuDNNライブラリを同梱
- GPUコンパチビリティチェック
- パラメータが不正のときにエラーメッセージを追加
- nnabla.functionsの負のインデックス対応
- NNPリファクタリング
Exampleの新規追加
- First Order Motion Model
- StyleGAN2 distillation
- Zooming-Slo-Mo
- SAGAN: F.spectral_normの置き換え
- Colabデモ: レイアウト変更
- Colabデモ追加: First Order Motion Model
- Colabデモ追加: CenterNet
バグ修正 / ドキュメントの追加・修正
- Windowsでnvml.dllのパスが見つからないエラーの修正
- generate nnb config fileのエラー修正
- 学習済みVGGネットワーク利用時のエラー修正
- 初期化されていないVariableの使用によるsegmentation faultの修正
- ホワイトペーパーへのCitation情報の追加
- インストールドキュメントにGPUのコンパチビリティ情報の追加
- コンバーターのドキュメントのアップデート
- マルチスレッド学習有効化
- インポートエラーの修正
- ドキュメント修正: SwapInOutScheduler
- neu.lms: メモリサイズ算出に厳密なGBを使用
- LSTMのバグ修正
- NNabla::ones/zerosのasync copyの修正
- function referenceの算出方法の修正
