訓練済み深層生成モデルの潜在変数間相互条件付きサンプリングによるマルチモーダル双方向生成モデル

抄録

近年，画像や文章などの異なるデータ間を相互に変換するマルチモーダル生成の研究が実サービスへの応用可能性の観点から注目されている． マルチモーダル生成は，画像の自動注釈，音声の字幕生成, など最近でも大きな成果を得ており産業応用上重要な技術である一方で, 大規模なデータセットが必要であるという課題がある. 一方で，機械学習研究分野は，大規模なデータセットを用いて訓練した再利用可能な訓練済みモデルを一般に公開するようになってきており，その数は今後増加すると見込まれる． そこで本研究では，この訓練済みモデルを活用することで，小規模なデータでマルチモーダル生成を実現することを目的とする． 本稿では，個別モダリティの潜在変数が推論可能な訓練済み生成モデルと少量のデータセットによってマルチモーダル生成を行う手法を提案する． 本稿では画像とラベルからなるマルチモーダルデータに提案手法を適用する実験を行い，与えられた訓練済み生成モデルが十分訓練されていれば提案手法によって少数の訓練データでそれらのモデルと同等程度の精度でマルチモーダル双方向生成が可能なことを示した．