Neural Network Libraries v1.0.16をリリースしました！今回のアップデートでは、前回のリリースに続き学習済みモデルの追加、および新ソルバーを追加しました！
スポットライト
AdaBound & AMSBound
AdaBound / AMSBoundはそれぞれAdamとAMSGradの学習率に動的な制約を与えることで学習の効率化を図ることができる最適化手法です。
詳細はこちらの論文をご覧ください。
import nnabla.solvers as S
solver = S.AMSBound(lr=1e-3)
solver.set_parameters(nn.get_parameters())
for itr in range(num_itr):
x.d = ... # set data
t.d = ... # set label
loss.forward()
solver.zero_grad()
loss.backward()
solver.weight_decay(decay_rate)
solver.update()
新規追加モデル:
モデルの詳細はこちらの論文をご覧ください。
その他の変更
レイヤー関数の新規追加・改善
- tile関数 (CPU / CUDA)
- random_choice (CPU / CUDA)
- batch_stat=False時のBatchNormalizationのbackward演算のサポート
- TopKDataCuda & TopKGradCuda
