抄録
対象を小学校1年算数の世界に絞り込み, 問題文と図表が混在しているドリルテキストならびに人間(教師)との対話を相互参照しながら算数の問題解決を行うシステムの開発を進めている.対話形式としては言語とジェスチャを併用したマルチモーダル対話を考えている.本論文では, システムが発話とそれに伴うジェスチャの生成方式について考察する.本システムのジェスチャはテキスト上の対象物に対する指示操作や描画操作で, ペン先の3次元的な動きとして表現される.本論分では, ジェスチャとその対象との関係に着目し, ジェスチャの意味表現としてジェスチャフレームを定義する.まず, 対話支援型問題解決システムの構成を概観した後, ジェスチャフレームを用いた発話文生成と協調したジェスチャ生成手法を提案する.最後に, シミュレーションによりジェスチャフレームの評価を行なう.
