拡散モデルによる顔画像の再構成と動画圧縮への応用

抄録

情報技術の発展により、高容量の画像、動画の利用が一般的になった。ただしHDDなど記憶デバイスの容量や通信帯域は有限であり、圧縮の必要性はこれまでも議論されてきた。ルールベースの圧縮に加え近年ではGANなど深層学習ベースの圧縮手法も提案されている。既存のFaR-GANによれば、ある人物の顔画像と表情を表す68点の座標データからその表情を持つ顔画像が再構成でき、高い圧縮率を実現できる。 しかし、このような既存手法では再構成の精度、動画にした際のフレーム間の滑らかさに課題がある。本研究では拡散モデルを再帰的に用いて前のフレームからの再構成を行うことで、拡散モデルベースの顔画像の再構成における人物特定と表情生成のトレードオフを抑えつつ、フレーム間を滑らかに表現する手法を提案する。