FaceForensics++およびCeleb-DFを用いたディープフェイク検出における残差画像特徴の有効性分析

抄録

近年、生成型人工知能技術の進歩に伴い、ディープフェイクはますます多様化・高度化している。その結果、偽情報の拡散やなりすましなどの社会的リスクが深刻化しており、対策として高精度な検出技術の開発が求められている。この問題に対処するため、学習に残差画像を利用する畳み込みニューラルネットワークベースのディープフェイク検出手法を提案する。ディープフェイクに特有のアーティファクトを抽出し、検出精度と多様な偽造手法に対する汎化性能の両方を向上させるため、顔画像に対して圧縮・再構成処理および差分フィルタリングを適用し、これらの残差画像を生成する。代表的なディープフェイク動画データセットを用いて、分類モデルを学習させ、実験的に評価を行った。提案手法の有効性は、未処理のオリジナル画像を使用するベースライン手法と比較することで検証された。実験結果から、オリジナル画像を使用する手法は、学習時に見られたものと同様の偽造手法に対して高い精度を達成することが示された。一方、学習中に未見の未知の偽造手法を含むクロスデータセット評価では、残差画像を用いる本手法は、特定の偽造手法に対して精度の面でベースライン手法を上回った。これらの結果は、残差処理による特徴抽出が、特定の未知のディープフェイクに対してはモデルの汎化性能を達成できることを示唆している。