共役勾配方向を適用した確率的最適化アルゴリズムによる再帰的ニューラルネットワーク上での言語モデルの生成 (非線形解析学と凸解析学の研究)

Abstract

本稿では、確率的最適化問題について議論する。確率的最適化問題を解くための確率的最適化アルゴリズムは機械学習の分野で用いられており、特に画像認識や自然言語処理などのタスクで非常に高い精度を誇るディープラーニングの分野で重要な役割を担っている。確率的最適化アルゴリズムとしては、確率的勾配降下法などの確率的勾配に基づいた手法が提案されており、中でもAdamは機械学習のための最適化アルゴリズムとして優れた性能を示している。そこで本稿では、無制約非線形最適化問題にの分野で知られている共役勾配方向をAdamに適用し、通常の確率的勾配の代わりに共役勾配を用いた手法を提案する。また、自然言語処理でよく知られているPTBデータセットを用いて再帰的ニューラルネットワーク上で言語モデルを生成する実験を行い、その結果に基づいて既存手法と提案手法の比較や考察を行う。