動画像を用いた染色工程の行動分類

抄録

近年，作業ロス削減のためデジタル技術を導入する企業は増えているが，デジタル技術の導入にはコストと労力を必要とする．そこで，本研究では，一人称視点の動画像と三人称視点の動画像から抽出した骨格情報を活用し，行動分類を行い，データ収集の負担を減らすことを目指す．従来の手法において，静止画のみの行動分類では歩行等の動作情報が欠ける点，骨格情報では作業対象物や環境情報が不足する点，これらの2点が課題としてあげられるため，これらの欠点を補完しあう二段階モデルを提案する．具体的には，第一段階として一人称視点の動画像をVGG16で作業対象物を分類し，第二段階として三人称視点の動画像から得られる骨格情報を利用してST-GCNで動作を分類する．本手法により，対象物の特徴と動作の詳細を統合的に解析することが可能となり，分類精度の向上を目指す．