半教師ありマルチモーダル深層生成モデルにおける共有表現の有効性と単一モダリティ入力への拡張

抄録

近年のマルチモーダル学習は，深層ニューラルネットワークが用いられることが多い．通常，ネットワークの訓練のために大量のラベルありデータ集合が必要だが，ラベル情報の付与には人的コストがかかってしまう．したがって，マルチモーダルデータにおける半教師あり学習が重要となる．これらの手法の中でも，近年深層生成モデルを用いたマルチモーダル半教師あり学習が提案されている．本研究では，まずこれらの手法を比較し，特に決定論的な対応関係がない異なるモダリティを入力とした場合，共有表現に対応する潜在変数を持つSS-HMVAEが高い性能となることを確認する．次に単一モダリティからラベルを予測するために，SS-HMVAEを拡張したモデルであるSS-HMVAE-klを提案する．この手法によって，従来のモデルと比較して，単一モダリティを入力とした場合の性能が大幅に向上することを確認した．