適応勾配法を利用したニューラルネットワークの訓練 (非線形解析学と凸解析学の研究)

Abstract

本論文は、深層ニューラルネットワークを訓練するために必要な非凸確率的最適化に対する手法を提案する。提案アルゴリズムは既存の適応学習率最適化アルゴリズムとして知られているAdam、AMSGrad、GWDC、AMSGWDCを例としてもつように構成されている。本論文では、定数及び減少学習率に対する提案アルゴリズムの収束解析を与える。定数学習率を利用する場合、提案アルゴリズムは非凸確率的最適化問題の停留点を近似することができる。減少学習率を利用する場合、提案アルゴリズムは問題の停留点に収束する。提案収束解析により、既存適応学習率最適化アルゴリズムは深層ニューラルネットワークに現れる非凸確率的最適化に適用可能であることが保証される。