人工知能学会全国大会論文集
Online ISSN : 2758-7347
第37回 (2023)
セッションID: 2G1-OS-21c-03
会議情報

反復償却推論によるマルチモーダル情報統合の改善
*大島 佑太鈴木 雅大松尾 豊
著者情報
会議録・要旨集 フリー

詳細
抄録

マルチモーダル変分オートエンコーダーは、推論モデルを学習することで、全てのモダリティからの情報を統合した潜在表現(共有表現)を獲得できる。しかし、任意のモダリティから共有表現を得たい場合、他のモダリティの入力が欠損してしまい、適切な表現推論が行えない。本研究では、欠損モダリティ問題を、任意のモダリティからの償却推論とマルチモーダルELBOの償却ギャップの一部として捉え直し、反復償却推論を用いて単一のモダリティ入力から共有表現を適切に得る方法を提案する。しかし、反復償却推論の過程では、マルチモーダルELBOを評価する必要があるため、欠損モダリティも必要となる。そこで、単一のモダリティのみを入力とする推論モデルを用意し、教師として反復償却推論を、生徒として新たに用意した推論モデルを蒸留し、単一モダリティから共有表現を獲得できる推論モデルが得られることを検証する。

著者関連情報
© 2023 人工知能学会
前の記事 次の記事
feedback
Top