Learning Dynamics as a Many-Body Problem

Abstract

ニューラルネットワークにおける計算の理論の重要な課題として、学習ダイナミクスのマクロな変数による記述の問題がある。最近よく議論されているオンライン学習の話では、学習の例題数が無制限であるとする非現実的な仮定をしていることが多い。例題数が限られている場合には、従来の理論は漸近領域や単純な学習則などに話が限定されていた。私たちの理論では、例題数が限られているバッチ学習のモデルに多体問題の理論を取り入れ、任意の学習評価関数についての取り扱いが可能になったのみならず、例題を繰り返し使うことによる時間相関の影響も完全に取り入れられるようになった。

An important issue in neural computing concerns the description of learning dynamics with macroscopic dynamical variables. Recent progress on on-line learning only addresses the often unrealistic case of an infinite training set. For restricted training sets, previous studies have so far been limited to asymptotic dynamics or simple learning rules. We introduce a many-body theory to model batch learning of restricted sets of examples, widely applicable to any learning cost function, and fully taking into account the temporal correlations introduced by the recycling of the examples.