主催: 一般社団法人 人工知能学会
会議名: 2025年度人工知能学会全国大会(第39回)
回次: 39
開催地: 大阪国際会議場+オンライン
開催日: 2025/05/27 - 2025/05/30
大規模言語モデル(LLM)は指示文に応じて未知のタスクに高い精度を発揮したり,その振る舞いを柔軟に変えるという性質を持つ.この性質を利用し,LLM に仮想的な人物や性格を付与し,そのように振る舞わせる取り組みがある.その際,LLM の性能を意図的に制限できるならば,構築した仮想的な人物が確からしくなるだろう(例えば,幼稚園児が積分の計算ができないようにするなど).本研究ではそのような LLM の意図的な性能低下に取り組む.日本語ベンチマークを用いた実験の結果,指示文のみでは LLM の下流タスクにおける性能の低下が困難であることを報告する.また,性能低下の計測に必要なベンチマークについても検討する.