物体マッチングにより物体網羅性を向上した画像生成

抄録

近年，コンピュータ支援デザインを目的として，物体や風景などのシーン情報を説明するテキストに従って画像を生成する研究が行われている．既存手法では，テキストと画像のペアから注意機構によって単語と画像領域の対応関係を暗黙的に学習しているが，画像生成時にはテキスト中で指定された物体が生成画像に現れないことがある．そこで本研究では，生成画像における指定物体の網羅性を向上させるために，学習時にテキスト中の物体と生成画像中の物体を明示的に対応づける画像生成モデルを提案する．提案手法では，生成する画像に物体検出器を適用し，テキストに含まれる物体を表す単語と物体検出で得られる物体クラスの対応をとる．そのために，概念辞書に定義された類義語情報を用いて物体を表す単語と物体クラスの対応関係を事前に獲得しておく．この対応関係を利用して，テキスト中の物体を網羅するように画像生成モデルを学習させる．多様な物体を含むデータセットを用いた実験により，提案手法は既存手法よりもテキスト中の物体を網羅した画像を生成できることを確認した．