学生向け論文推薦システムにおける説明インタフェースの評価

Abstract

本稿は, 大学生 ・ 大学院生を対象とした論文推薦システムのインタフェースの比較評価を実施する. 推薦システムは, 講義資料閲覧システム上で, 表示されている教材に関連する論文を推薦する. 説明インタフェースは, 「なぜそのアイテムが推薦されているか」 という情報をユーザへ提示することから, ユーザの意思決定プロセスを支援し, 推薦システムへの信頼性を向上させる効果があることが知られている. 本稿では, 論文推薦システムにおける説明インタフェースを, 効果 ・ 透明性 ・ 満足度から評価する. 具体的には, No explanation, Keywords, Tag cloud (mono-color), Tag cloud (color) の 4つの説明インタフェースを比較する. 経済学あるいは情報学の教材を利用して, 30名の学生を対象に被験者実験を実施した. 結果, 各説明インタフェース間の有意差は観察されなかった. 被験者の属性に着目すると, 修士課程の被験者の満足度について, Tag cloud (mono-color) が最も高かった. 推薦されている論文と教材との関連性を色で表現する Tag cloud (color) よりも, 関連性を明示しない Tag cloud (mono-color) の評価が高かった理由として, 彼らは教材との関連性よりも彼らの関心に基づいて推薦アイテムの適合性を判断していることが挙げられる. 対して, 学士課程の被験者の満足度については, No explanation と Tag cloud (color) が最も高かった. 説明インタフェースに表示されるキーワードを理解できない場合は No explanation の満足度が高く, 理解できる場合は Tag cloud (color) が高い. このことから, 学士課程の被験者は推薦アイテムの適合性を判断する際に教材との関連性に注目しており, 説明インタフェースが関連性の理解を支援しているといえる.