GPT系言語モデルによる国語研長単位係り受け解析

Abstract

GPT 系言語モデル上の系列ラベリングを用いて，品詞付与・係り受け解析アルゴリズムを開発した．品詞付与においては，系列ラベリングの出力部に Bellman-Ford アルゴリズムを適用することで，解析精度を向上させている．係り受け解析においては，右向きリンクは始点から終点への情報の流れに注目し，左向きリンクは逆向き (終点から始点へ) の情報の流れに注目するアルゴリズムを開発した．これらのアルゴリズムを，27 種類のGPT 系日本語モデルに適用し，国語研長単位 Universal Dependencies による解析精度評価をおこなった．

In this paper the author describes how to finetune sequence-labeling for part-of-speech tagging and dependency-parsing, using Japanese causal language models, such as GPT, LLaMA and Qwen. For part-of-speech tagging, we utilize Bellman-Ford algorithm to refine the sequence-labeling. For dependency-parsing, the author has developed an original sequence-labeling algorithm, in which leftward edges are treated reversely. The author investigates efficiency of the algorithms, applying them to twenty-seven Japanese causal language models.