2020 年 27 巻 2 号 p. 257-279
本研究では,写真付きレシピの作成を容易にするために,写真列を入力としてレシピを生成するという課題と,それを解決する手法を提案する.レシピを正しく生成するためには,モデルは写真を説明する上で欠かせない物体や動作といった重要語と,それを含む表現を生成する必要がある.写真列を入力として文章を出力する類似課題である Visual storytelling の手法では,重要語の存在は考慮されていなかった.これに対して,本論文では,検索課題として取り組まれてきた手法を文生成モデルに組み込むことで,モデルは入力写真に適した重要語を過不足なく含む表現の情報を活用しながらレシピを生成する手法を提案する.日本語のレシピを対象に実験を行った結果,本手法を適用することで生成文の自動評価尺度や,写真に適した重要語が生成文中に含まれているかといった評価においてベースラインと比較して性能が向上したことを実験的に確認した.