Attention Maskによるディープフェイク動画像の検出

抄録

本研究では昨今、フェイクメディアとして悪用されているディープフェイク動画像を検出する技術を提案する。従来のディープフェイク検出技術は既存の画像分類モデルとして強力なモデルをそのままディープフェイク検出に用いているものが多く、ディープフェイク検出特有の工夫がされているものが少ない。そこで、本研究では学習時に入力の顔画像に対してアテンションマスクを生成し、CNNモデルに並列的に入力することで性能向上を図った。また、ディープフェイク検出に関する既存研究で多く利用されるXceptionNetの改良を施すことにより更なる性能向上を図った。すなわち、本研究ではXceptionNetの改良モデルであるXceptionNeXt及び、AMGを組み合わせたAddXceptionNeXtを提案する。結果としては、提案手法によってFaceForensics++、DFD、Celeb-DFv2、DFDC-previewなどのディープフェイクデータセットに対して平均してXceptionNeXtは0.960、AddXceptionNeXtは0.973のAUCスコアを達成した。