第2回国際ナレッジグラフ推論チャレンジ：日常生活に関するマルチモーダルデータからの行動の予測に対するLLMへの適用

抄録

我々は、2024年2月8日に第2回国際ナレッジグラフ推論チャレンジの最終発表会をInternational Conference on Semantic Computing の併設ワークショップとして開催した。本チャレンジでは、日常生活の一部を3Dシミュレータを使って生成した動画とナレッジグラフから動作、対象物、場所に関する統計値を求めることをメインタスクとした。 本チャレンジの特徴は、ナレッジグラフの一部を欠損させたデータを提供することで、動画からの情報抽出、ナレッジグラフに対する機械学習を用いた予測により、欠損した情報を補うことが必要になる点である。 本発表では、今回の推論チャレンジのデータセットとタスクの概要を示し、4つの応募作品を紹介する。応募作品においては、マルチモーダルLLMを用いたものが複数あったため、これらを比較して、今回のタスクにおける現在のマルチモーダルLLMに対する課題と期待についても述べる。