Neural Network Libraries v1.0.16リリース! 最新の最適化手法や学習済みモデルが追加されました!

2019年4月19日 金曜日

その他 , リリース

Posted by Takuya Yashima

Neural Network Libraries v1.0.16をリリースしました!今回のアップデートでは、前回のリリースに続き学習済みモデルの追加、および新ソルバーを追加しました!

スポットライト

AdaBound & AMSBound

AdaBound / AMSBoundはそれぞれAdamとAMSGradの学習率に動的な制約を与えることで学習の効率化を図ることができる最適化手法です。

詳細はこちらの論文をご覧ください。

import nnabla.solvers as S
solver = S.AMSBound(lr=1e-3)
solver.set_parameters(nn.get_parameters())

for itr in range(num_itr):
    x.d = ... # set data
    t.d = ... # set label
    loss.forward()
    solver.zero_grad()
    loss.backward()
    solver.weight_decay(decay_rate)
    solver.update()

新規追加モデル:

モデルの詳細はこちらの論文をご覧ください。

その他の変更

レイヤー関数の新規追加・改善

ユーティリティの機能改善

フォーマットコンバーターの機能改善

ビルド関連

バグ修正