主催: Webインテリジェンスとインタラクション研究会
会議名: WI2研究会
回次: 20
開催地: 12月1日:オンライン、12月2日~3日:唐津商工会館貸会議室
開催日: 2024/12/01 - 2024/12/03
p. 121-124
TCGの局面における最適な意思決定能力について,公式が発行するルールQ&Aを用いてLLMの理解力を検証する.RAGを活用した知識強化型LLMと一部の事前知識を除いた知識強化型LLMに同一のQ&Aを解答させ,その正確性を比較する.検証には,カードの効果処理順,特殊な状況での処理方法など,様々な難易度のQ&Aを使用した.RAGには上級者向けマニュアルや公式ルールブック,カードデータベースの情報を組み込み,事前知識の有無による解答精度の違いを考察した.また,回答の論理的説明能力についても評価を行い,LLMのルール理解における限界と可能性を検討した.