Access count of this item: 334

Files in This Item:
File Description SizeFormat 
KJ00004705302.pdf333.3 kBAdobe PDFView/Open
Title: Natural Gradient Eliminates Plateaus in Multilayer Perceptions Learning
Other Titles: 多層パーセプトロンにおける自然勾配学習(基研研究会「ニューラルネットワーク~これからの統計力学的アプローチ~」,研究会報告)
Authors: Amari, Shun-ichi
Author's alias: 甘利, 俊一
Issue Date: 20-Jun-1998
Publisher: 物性研究刊行会
Journal title: 物性研究
Volume: 70
Issue: 3
Start page: 426
End page: 432
Abstract: 多層パーセプトロンは、多数のパラノータを含む非線形の関数を用いてその入出力関係を表現する。学習とは、実現したい入出力関係が外部より与えられたときに、その例題のみに基づいてパーセプトロンの可変パラメータを調整し、これによって例題の含む"2般的"な仕組みを得てこの関数を近似的に実現することである。特に、オンライン学習は、例題が一つづつ逐次的に与えられたときに、これを記憶することなくパラメータ学習を行なう。学習アルゴリズムの典型的なものは、誤差関数の確率降下法に基づくもので、誤差違伝播法の名前で知られている。ところが、これは学習の収束がきわめて遅いところに問題がある。近年の統計物理学的手法によるオンライン学習の研究は、この収束の遅さがプラトーと呼ばれる対称性に起因する領域に状態が捉わるからであること、さらにプラトーは普遍的に存在することを明らかにした。ではプラトーから脱出する方策として何がよいであろうか。本研究は、パーセプトロンのパラメータ空間はユークリッド空間ではなくてリーマン空間の構造を持つことを明らかにする。リーマン空間における勾配(グラディエント)は反変ベクトルで表現されるべきであり、これが真の最急方向を与える。この自然のリーマン構造を用いた学習法は、局所的に漸近最適であるのみならず、プラトーに捉われないものであることを示す。
The present memo studies the topological and metrical structures of the parameter space of neural networks, in particular multilayer perceptrons. It is important to study such geometrical structures for evaluating learning abilities of various algorithm. We further propose the natural Riemannian gradient learning algorithm which is powerful not only in the asymptotic regime but also in the intermediate regime.
Description: この論文は国立情報学研究所の電子図書館事業により電子化されました。
URI: http://hdl.handle.net/2433/96370
Appears in Collections:Vol.70 No.3

Show full item record

Export to RefWorks


Export Format: 


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.