Segment Anything Model 3による漫画風イラストのセグメンテーションの試み

抄録

本研究では、写真ではなく、漫画風イラストやゲーム画面などの非写実的な二次元画像を対象としたオブジェクトセグメンテーションに取り組む。想定する用途の一つは、ビデオゲーム画像に含まれるキャラクター、アイテム、背景要素などの認識作業を省力化することである。また、キャラクターデザインなどの二次元画像を、その構成要素ごとに分割する用途も想定している。例えば、人物や動物であれば、頭部、胴体、腕、脚などの身体部位ごとに分割し、機械であれば、筐体、関節、車輪、装甲などの部品ごとに分割する。従来の教師ありセマンティックセグメンテーションでは、多数の学習画像を用意するとともに、各画像について画素単位の正解マスクを作成する必要がある。このような教師データの作成には多大な時間と労力を要するため、対象となる画像や分類項目が増えるほど、アノテーション作業が煩雑になるという問題がある。これに対し、テキストプロンプトによって分割対象を指定できるセグメンテーション技術では、「人物の腕」「動物の耳」「ロボットの車輪」などの文言を入力することにより、指定した概念に対応する領域を抽出できる可能性がある。これにより、対象タスクごとに多数の教師画像や画素単位の正解マスクを作成する作業を削減し、ゲーム画像や二次元イラストの分析を省力化できると期待される。今回われわれは、Meta 社が開発したSegment Anything Model 3（SAM 3）を用いて、漫画風イラストを対象としたテキストプロンプトによるセグメンテーションを試みたので、その結果を報告する。