Natural Gradient Eliminates Plateaus in Multilayer Perceptions Learning

Abstract

多層パーセプトロンは、多数のパラノータを含む非線形の関数を用いてその入出力関係を表現する。学習とは、実現したい入出力関係が外部より与えられたときに、その例題のみに基づいてパーセプトロンの可変パラメータを調整し、これによって例題の含む"2般的"な仕組みを得てこの関数を近似的に実現することである。特に、オンライン学習は、例題が一つづつ逐次的に与えられたときに、これを記憶することなくパラメータ学習を行なう。学習アルゴリズムの典型的なものは、誤差関数の確率降下法に基づくもので、誤差違伝播法の名前で知られている。ところが、これは学習の収束がきわめて遅いところに問題がある。近年の統計物理学的手法によるオンライン学習の研究は、この収束の遅さがプラトーと呼ばれる対称性に起因する領域に状態が捉わるからであること、さらにプラトーは普遍的に存在することを明らかにした。ではプラトーから脱出する方策として何がよいであろうか。本研究は、パーセプトロンのパラメータ空間はユークリッド空間ではなくてリーマン空間の構造を持つことを明らかにする。リーマン空間における勾配(グラディエント)は反変ベクトルで表現されるべきであり、これが真の最急方向を与える。この自然のリーマン構造を用いた学習法は、局所的に漸近最適であるのみならず、プラトーに捉われないものであることを示す。

The present memo studies the topological and metrical structures of the parameter space of neural networks, in particular multilayer perceptrons. It is important to study such geometrical structures for evaluating learning abilities of various algorithm. We further propose the natural Riemannian gradient learning algorithm which is powerful not only in the asymptotic regime but also in the intermediate regime.