Show and Read, then Tell

抄録

本研究では，情景内文字を考慮して画像説明文を自動的に生成することを目的とする。一般に機械学習を用いて画像説明文を自動生成する場合，画像特徴を取得し画像内に存在するオブジェクトを推定する．その結果を元に，単語を尤もらしく組み合わせることで文章を生成する．しかし，情景内文字に関しては考慮されておらず，説明文にもその情報は反映されていない．画像を説明する上で情景内文字は，文字列自体が持つ意味情報に加えて，その場所を形容する情報となるため重要である．そこで，情景内文字を認識し特徴として画像説明文に反映する．本報告では，前段階として画像特徴を合成することにより適切な説明文を生成する．