学習における特異点構造の分析について

Abstract

3層パーセプトロンである学習モデルの中間ユニット数が2から1に変化する特異領域の近くでは学習が停滞するプラトーが起きる[1].Guoらは特異領域の近くの学習のダイナミクスを5つのパターンに分けて考察している[2]．学習モデルの座標系を変換することにより，変化の速いパラメータを固定して変化の遅いパラメータの軌道を調べる［3]. 甘利らによって特異領域の近くの学習の安定性やダイナミクスが求められている[1], [4]．第1に学習モデルとしてMathmaticaにおいてニューラルネットワークを作成する第2に特異領域の近くにある真の分布が学習モデルによって実現される場合，学習モデルの初期値を変えることによって臨界直線に影響を受けて変化するダイナミクスについて考察する．第3に特異領域にある真の分布が学習モデルによって実現される場合，学習損失が減少するが，汎化損失が増加する過学習が起き，真の分布が学習モデルによって実現されない場合，学習の初期に汎化損失が学習損失より減少して小さくなり，増加して大きくなる過剰般化が起きる．過学習，過剰汎化についてパラメータの変化を調ベ，学習・汎化損失曲面上のダイナミクスの考察をする．