RTD3D: 3D CNN セグメンテーションモデルを用いた時系列画像におけるスポーツ用具のキーポイント推定手法

抄録

近年，画像認識技術が高度に発達しており，スポーツにも活用されている．本研究はさまざまな競技で，より簡単にスポーツの動作を解析できるようにすることを目的として，今回はとくにスポーツ用具を扱う競技としてテニスに着目し，1台のカメラで単視点から撮影された動画において，ラケットの先端位置をキーポイントとして推定する手法を開発した．本研究では提案するネットワークをRTD3Dと呼ぶ．提案手法では，3D Convolutionに基づいた深層学習モデルを構築して，動画中の連続した数フレームを入力し，キーポイントの推定結果としてテニスラケット先端位置に強いピークを示すConfidence mapを出力するように学習を行った．また推定精度を向上させることを目的として，推論時に画像に施すデータ前処理やモデルの出力に対するデータ後処理についても提案する．結果として，提案したRTD3Dと細井らの手法とをサーブのシーンに関する実験によって比較したところ，提案手法が推定精度において細井らの手法を大幅に上回る結果が得られた．またデータ前処理およびデータ後処理手法は推定精度をさらに高める効果を発揮することが分かった．