LLMの常識知識を活用した日常生活データセット自動構築手法の提案

抄録

高齢者の家庭内における危険な状況を検出して説明するシステムを募集するナレッジグラフ推論チャレンジ実社会版（KGRC4SI）2022が日本で開催された．KGRC4SIでは，日常的な行動をVirualHome（VH）でシミュレートした動画データと，この動画をVirualHome2KGで変換した知識グラフが提供される．主なタスクは提供された動画と知識グラフから危険な状況を検出することであるが，すべての動画や知識グラフに危険な状況が含まれてはいないため，数多くの日常生活を表現したデータを作成することが課題となっている．VHでは，アクションとその対象オブジェクトから構成されるアクションスクリプトに基づいてエージェントを三次元仮想空間内で行動させることができる．アクションスクリプトを手作業で作成することは直感的ではなく，自然言語文であればユーザの意図や要求をより容易に記述することができる．我々は，LLMを用いて日常的な行動の記述からアクションスクリプトを生成する手法を提案してきた．本研究では，異なる種類のLLMを用いた評価と比較を行う．なお，評価実験では，正解データとの類似性と実行率を評価する．