音楽クリップのサムネイル画像から音楽情報以外のアスペクト情報は抽出できるのか？

抄録

近年，自然言語を用いた音楽検索・生成モデルの研究が盛んに行われている．これらモデルの学習や評価には，音楽とテキストの対応データが必要となるが，規模の大きな公開データはほとんど存在しない．特に，自然言語による音楽の説明記述として，聴きたいシチュエーションや季節等の非音楽的なアスペクト情報は重要であるが，このようなアスペクトが記述された音楽キャプションデータは少ない．この問題に対処するため，本研究ではサムネイル画像から想起される非音楽的なアスペクト（聴きたいシチュエーションや時間，季節，聴いた時の感情）を付与した音楽キャプションデータの生成法を提案し，人手評価によって提案手法の有効性を確認した.