2020年度電気・情報関係学会九州支部連合大会（第73回連合大会）講演論文集
セッションID: 04-2P-03
会議情報
主催: 電気・情報関係学会九州支部連合大会委員会
会議名: 2020年度電気・情報関係学会九州支部連合大会
回次: 73
開催地: オンライン開催（大会本部：九州産業大学）
開催日: 2020/09/26 - 2020/09/27
複数モダリティを対象とした表現学習
詳細
主催: 電気・情報関係学会九州支部連合大会委員会
会議名: 2020年度電気・情報関係学会九州支部連合大会
回次: 73
開催地: オンライン開催（大会本部：九州産業大学）
開催日: 2020/09/26 - 2020/09/27
一般的な特徴抽出法が画像等の単一のモダリティを対象とするのに対し，本研究では複数のモダリティを対象とした特徴抽出を考える．例えば，手書き文字は，同一のパターンをパターン作成過程の「動き」と作成後の「画像」という，2種のモダリティで表現されうる．こうしたマルチモーダル性を考慮して特徴抽出を行えば，単一モダリティでは得られない特徴を他のモーダルから補完できる可能性がある．本稿では，こうしたマルチモーダルな特徴抽出を，モダリティ毎に準備されたGANとAutoencoderを相互依存させるDNN上の表現学習問題として扱う．実際に手書き文字のデータセットを用いて，複数モダリティの特徴が得られていることを示す．
