画像データの視覚情報に基づく因果推論のためのテキスト因果モデルの拡張と適用

抄録

本研究の基盤となる先行研究では、テキストデータを対象に、文書に含まれる「ポジティブさ」や「雄弁さ」などの要素をBERTモデルを用いて数値化し、これを因果推論の対象として扱っている.本稿の目的は、テキストデータを対象としたこの因果推論のアーキテクチャを画像データに適用し、画像内の視覚的特徴（例：明るさ、色味、コントラスト）を因果推論に組み込む.具体的には、画像データを解析して視覚効果をモデルによって抽出し、それが結果に与える影響を因果推論の枠組みで評価する.このアプローチにより、画像データが持つリッチな情報を因果推論に活用し、因果関係の測定を目指す. 従来研究に従ってベースラインを作成し提案手法の精度評価として用いた. またテキストから画像に変更したことによりデータ拡張の実装と再構成損失を加え、その効果の検証を行った ベースラインと比較して今回の提案手法がより正確に真の値(Ground Truth)により近い値を出力する結果を得ることができた. またデータ拡張の有効性もわかる結果となった.