Deep neural networkによる映像・音響・運動データの統合と共起

抄録

Time-delay deep autoencoderをロボットによるベル叩き行動から得られた視聴覚運動時系列の統合学習に適用した．これにより，クロスモーダルな記憶想起を実現し，身体運動情報とそれに伴う音響情報から，モーダル間の共起性を正しく反映した画像情報の生成を可能にした．また，獲得された内部表現の解析から，提案モデルは視聴覚運動情報の共起性を自己組織的に構造化して学習していることを確認した．