このアイテムのアクセス数: 118
このアイテムのファイル:
| ファイル | 記述 | サイズ | フォーマット | |
|---|---|---|---|---|
| 2194-02.pdf | 2.66 MB | Adobe PDF | 見る/開く |
| タイトル: | 適応勾配法を利用したニューラルネットワークの訓練 (非線形解析学と凸解析学の研究) |
| 著者: | 朱, 伊妮  酒井, 裕行 飯塚, 秀明 |
| 著者名の別形: | Zhu, Yini Sakai, Hiroyuki Iiduka, Hideaki |
| 発行日: | Aug-2021 |
| 出版者: | 京都大学数理解析研究所 |
| 誌名: | 数理解析研究所講究録 |
| 巻: | 2194 |
| 開始ページ: | 6 |
| 終了ページ: | 12 |
| 抄録: | 本論文は、深層ニューラルネットワークを訓練するために必要な非凸確率的最適化に対する手法を提案する。提案アルゴリズムは既存の適応学習率最適化アルゴリズムとして知られているAdam、AMSGrad、GWDC、AMSGWDCを例としてもつように構成されている。本論文では、定数及び減少学習率に対する提案アルゴリズムの収束解析を与える。定数学習率を利用する場合、提案アルゴリズムは非凸確率的最適化問題の停留点を近似することができる。減少学習率を利用する場合、提案アルゴリズムは問題の停留点に収束する。提案収束解析により、既存適応学習率最適化アルゴリズムは深層ニューラルネットワークに現れる非凸確率的最適化に適用可能であることが保証される。 |
| URI: | http://hdl.handle.net/2433/265715 |
| 出現コレクション: | 2194 非線形解析学と凸解析学の研究 |
このリポジトリに保管されているアイテムはすべて著作権により保護されています。