動画内類似画像検索のためのフレームスキップ行動の深層強化学習

抄録

映画の予告編やスポーツのハイライトを見ていて，今見ているシーンに対応する本編のシーンにジャンプしたいことがある．探したいシーンを人間がスキップやバックを駆使して手動で探すのは手間で時間がかり，動画視聴体験や利便性を損なう．本研究では，深層強化学習による効率的な動画内類似画像検索手法を提案する．代表的なシーンをクエリ画像として扱い，フレームスキップ行動を強化学習する．クエリ画像と現在フレームの画像特徴ベクトル間の距離 (特徴量距離) を考慮した特徴抽出モジュール，報酬設計の工夫により，精度を向上させた．実験の結果，液体注ぎ動画のデータセットである Multiview Pouring Dataset において，検索成功率 83.0%と同検索成功率の固定スキップ幅探索比でステップ数を 48.2%削減した．