Neural Network Libraries v1.15.0をリリースしました！
ExampleにVQ-VAEを追加！さらに新たにBatchLogdet関数が追加されました！
Spotlight
VQ-VAE with PixcelCNN Prior
こちらの論文で提案されたVQ-VAE (Vector Quantized Variational Autoencoder
)のNNabla実装を公開しました！
VQ-VAEは離散的な潜在表現を学習することができるモデルであり、敵対的生成ネットワーク(GANs)とともに、高品質な画像/動画生成や音声合成のために広く用いられている生成モデルです。
学習した潜在表現が無視されてしまうposterior collapseと呼ばれる問題を避ける手法が用いられており、VAEをさらに発展させた手法となります。
以下はVQ-VAEによる生成画像の例です。
– MNIST:
– CIFAR-10:
– ImageNet:
BatchLogdet関数 (CPU / GPU)
BatchLogdet関数はバッチ毎に行列式の(絶対値の)対数(log absolute determinant)を計算する関数であり、数式上\(Y_b = \log(|\det(X_b)|)\)と表されます。
ここで\(X_b\)と\(Y_b\)はそれぞれ \(b\)番目の入出力です。この関数は大規模なモデルを扱うときに便利です。
