敵対的学習により食材変化を捉える詳細調理行動認識手法

抄録

近年，初心者をサポートするために，動画から自動で手順書を作成するシステムが注目を浴びている．自動レシピ生成システムもその一つであり，調理行動やその行動に関連する物体を認識することで実現されている．このようなシステムをより有用なものにするためには，大まかな行動からより詳細な行動，例えば“切る”という行動から，“千切り”や“みじん切り”といった細かな行動を認識できるようにする必要がある．しかし，このような詳細な行動では，用いる道具，例えば包丁が同じだけでなく，動作も行動間で非常に似通っているため，詳細調理行動認識は非常に難しいタスクとなっている．そこでこの問題を解決するために，我々は，食材の連続的な形状変化に着目する．本稿では，この情報を基に作成した新しいGAN (generative adversarial network) ベースの認識モデルを紹介すると共に，時空間モデルの手法と比較しつつその性能について紹介する．