イラスト作家検索に向けた深層相関特徴の再考

抄録

近年，畳み込みニューラルネットワーク（CNN）の特徴統計量をベースとした手法が画風の豊かな表現に利用されている．ベクトル化された特徴マップのグラム行列（深層相関特徴）はその一手法であり，絵画や情動画像の認識に有効である．グラム行列は二つの入力特徴マップの内積を計算するので，一方の値を適応的に変化させるAttention機構の一種と捉えることができる．本稿の目的はAttention機構の側面で深層相関特徴を明らかにすることである．グラム疎行列モジュール(SGMM)はQuery-Key型Attentionの疎化手法に触発された手法である．提案ネットワークはマルチヘッドSGMMとレイヤー間結合の二つから構成されている．我々はアニメ調イラストの作家分類・検索タスクで性能評価を行い，既知作家の精度指標における提案ネットワークの優位性を示した．さらに，SGMMはAttention機構と似た性質を持つことを明らかにした．