Neural Network Libraries v1.19.0をリリースしました！
Spotlight
メモリ使用量の最適化
任意のネットワークの学習過程において、メモリ使用量を削減するために以下の最適化を行いました。
– 既存の全ての関数において、Backward時に利用しない入力データをForward計算後に削除するように改善
– Backward開始時にグラフエンジンが自動で作成する勾配データ初期値を使用後に即座に削除するように改善
– メモリの共有判定(inplace)をデータと勾配データで別々に行うようにし、Backward中によりアグレッシブに勾配データを削除するように改善
線形関数の勾配計算の修正
v1.18.0で追加された高階微分の計算機能ですが、実装にミスがあり、所望の挙動となっていなかったことが判明しました。本バージョンにおいてその修正がなされています。
nnpグラフの読み込み時の問題の修正
学習済みモデルの利用時など、nnpファイルの読み込みに失敗する問題が確認されており、本バージョンでその修正を行いました。
JSI-GAN
JSI-GANのNNabla実装を追加しました！JSI-GANは超解像(Super Resolution)と逆トーンマッピング(Inverse Tone Mapping)を併用することで、低解像度・ダイナミックレンジの小さい画像を高解像度・ハイダイナミックレンジの画像に変換することができるモデルとなっています。画像の再構成/細部の復元/局所的なコントラスト増強を行うネットワークの3つを一緒に学習させることでこのタスクを実現しています。
バグ修正
- F.norm_normalization: デフォルト値epsの修正
- data_iterator_simple: データのキャッシュをデフォルトで無効化
- モデルの保存時の問題の修正
- モデルの保存時の問題の修正(variable_batch_size有効化)
- reshape時のオーバーフロー修正
- log_sigmoid / softplusの数値計算処理の改善(CPU / GPU)
- inplace_grad()関連コードの削除
- nnpリファクタリング時のメモリの問題修正
- コンバーターの問題の修正
- workspace limitのデータ型をintからint64_tに変更
- 特殊なケースでConvolutionを実行した際にSegmentation Faultが起こる問題の修正
