[21] Syosa：映像資料から非言語情報の取得とメタデータ化

抄録

近年、情報通信技術や情報サービスの普及に伴い、デジタルアーカイブの対象が文字情報だけでなく画像や映像から3Dデータなど多岐にわたりつつある。特に映像情報はスマートフォンなどで手軽に撮影することができるようになってきたことに伴い膨大になりつつある。しかしながら膨大な映像資料から必要な情報や重要なシーンを見つけ出すためには膨大な時間がかかる。本論文では、人物による活動や発言が含まれる映像資料から、機械学習(AI)を用いた動画解析により登場人物の本人の表情や視線、瞬き、動作といった非言語情報の抽出を行い、音声認識による言語情報ともに時系列メタデータとして保存可能とするツールsyosaを構築したので紹介する。