本論文では,映像中の人物行動を認識するとともに,その動作を逐次自然言語で表現する方法を提案する.従来のコンピュータビジョンは,画像から物体の形状や位置・姿勢を回復するという問題に集中してきた.しかしながら,現実の世界においては必ずしも物体の識別が最終的な目的とは限らない.情報の最終的な受容者である人間にとって,知的活動の基本となる種々の概念を扱う最良のメディアは自然言語であり,映像を自然言語の意味論に基づいて解釈し,伝達・提示することが,コンピュータビジョンの究極の目標であるといえる.第1章の序論に続き,第2章では,映像から自然言語ヘメディア変換するための基本的な考え方として,映像から種々の特徴量すなわち意味素性を抽出し,それを組み合わせることで事象概念を形成する方法について述べている.第3章では,映像中の人物の顔および手領域をロバストに追跡する手法を提案し,第4章では,人物の位置・姿勢の時系列変化と,シーン中の物体との相対的な位置関係をもとに,人物の動作を格文法に基づく格フレームで表現する方法を提案している.第5章では,自然言語の動作表現に関する概念階層を導入するとともに,これを身体部位ごとに適用することで動作表現を生成し,これらを統合して最終的に自然言語のテキストを生成する手法を提案している.第6章では,本論文の成果について総括している.
