統計理論に基づく深層学習の原理解析 (高度情報化社会に向けた数理最適化の新潮流)

Abstract

本稿では、深層ニューラルネットワーク(DNN)が他手法より良い性能を発揮する原理を、統計理論を用いて解析した。DNNは既存手法よりも高い性能を発揮することが経験的に知られているが、なぜその性能が発揮されるのかという原理は充分には解明されていない。既存の統計理論では、データが滑らかな関数から生成されている場合、多くの既存の統計機械学習の手法が理論上の最適精度を達成することが示されており、DNNの相対的優位を説明することは難しい。本稿はその困難さを解決するため、データが非滑らかな関数から生成されている状況で各手法の汎化誤差評価を行った。具体的には、DNNによる推定量の汎化誤差の収束レートを導出し、そのレートがミニマックスの意味での最適性を満たすことを示した。加えて、いくつかの既存手法がその収束レートを達成しないことを示し、DNNが他手法に理論的な優越する状況を明らかにした。さらに、DNNが最適な精度を達成するためのネットワークの構成法のガイドラインを与えた。