発話に伴う頭部動作と顔表情のマルチモーダル同時生成モデル

抄録

近年、大規模言語モデルの発展により、人間らしく自然な対話が可能となりつつある。今後は3Dアバターなどの対話エージェントを介したマルチモーダルな対話機会が増加すると予想される。その際、単なる言語理解だけでなく、音声や動作などの多様な表現を考慮しつつ統合的に生成する必要がある。本研究は、テキストから音声および頭部動作・顔表情を同時に生成できるマルチモーダルモデルの構築を目的とし、最適輸送条件付きフローマッチング手法を応用することで複数モダリティの一貫した生成を実現している。