手話動作分類におけるRCNNモデルの性能評価と内部状態解析

抄録

手話はろう者の間で使われる言語であるが , 聴者の間で手話は一般的でなく，理解できる人は少ない.手話の自動翻訳が実現はディープラーニングにおける大きな課題の一つである．本研究の目的は手話翻訳への第一歩としてのディープラーニングを用いた手話単語動画の分類である．手話は文脈上,手の形状や手の軌道だけでなく表情やうなずき等の非手指信号も重要な意味をもつ． そのため，手話翻訳の際には，話者全体の情報を考慮する必要がある.本研究では、画像全体の情報を利用して手話単語を分類できるRCNNモデルを適用し、入力とモデル構造がどのように分類精度に影響するかを調べた。