Neural Network Libraries v1.5.0をリリースしました!TransformerやPix2PixHD, ESRGANが追加されました!

2020年1月28日 火曜日

リリース

Posted by Takuya Yashima

Neural Network Libraries v1.5.0をリリースしました!Transformer, Weight Normalization, Pix2PixHD, ESRGAN, MAMLなど、多くの強力な新機能・Exampleが追加されました!
また、すでにアナウンスがあったように、本バージョン以降、Python 2系のサポートはされませんのでご注意ください。

スポットライト

Transformer

Transformer (Vaswani et al., NIPS 2017)はマルチヘッドアテンション機構を用いたモデルであり、機械学習の様々なタスク、特に自然言語処理や音声認識において強力な性能を発揮することが知られています。近年のSOTAモデルであるBERTにおいてもTransformerが重要な役割を果たしています。このTransformerの使い方についてのチュートリアル記事もすぐに公開される予定ですので、ぜひチェックしてみてください!

Weight Normalization

Weight normalization (Salimans and Kingma, NIPS 2016)はニューラルネットワーク内の重みに関するreparametrizationの手法の1つであり、収束が速くなることが報告されています。

Pix2PixHD

Pix2PixHD (Wang et al., CVPR 2018)は高解像度のImage-to-Image Translationが可能なモデルです。図にあるように、セマンティックラベルを実写のようなリアルな画像に変換することができます。

Input Output

MAML

MAML (Model-Agnostic Meta-Learning) (Finn et al., ICML 2017)はメタ学習において有望な研究であり、モデルに対し「学習方法を学習させる」ことを目的とした手法です。これを用いて訓練されたモデルは限られた学習サンプルだけで新しいタスクに適応できるようになることが期待されています。

ESRGAN inference

ESRGAN (Enhanced Super-Resolution Generative Adversarial Network) (Wang et al, ECCV 2018 Workshop)はGANを用いて画像の超解像を行うモデルです。著者らによって提供されている学習済みパラメータを変換することでNeural Network LibrariesでもESRGANを用いた超解像の実行が可能です。変換に必要なコードやその手順はこのページをご覧ください。

レイヤー関数の新規追加・改善

ユーティリティ/フォーマットコンバーターの機能改善

バグ修正

ドキュメントの追加・修正

Exampleの新規追加