LLMマルチエージェントシステムにおけるエージェント評価手法に関する研究

抄録

大規模言語モデル（LLM）マルチエージェントシステムは, 複数のAIエージェントが協力や競争を通じて複雑なタスクを達成するシステムである. これらのシステムは, 質疑応答の正答率向上, 現実世界の相互作用のシミュレーション, ソフトウェア開発の効率化など, 多岐にわたる応用が研究されている．しかし，マルチエージェントシステムにおける各エージェントの有効性を評価するための手法については，十分に研究が進んでいない. 本研究では, 我々が開発したNomatica（ノーマティカ）というLLMマルチエージェントシステムを用いて, フリーディスカッションやアイディエーション, レビューセッションなどのタスク実行時に各エージェントの有効性を評価する手法を検討し, 評価を行った. 評価においては, 特にRAG（Retrieval Augmented Generation）技術を利用したRAGエージェントの有用性に着目した. 評価の結果, RAGエージェント及び特定用途のエージェントの活用がシステム全体の性能向上に寄与することが示され, エージェント評価手法の開発における示唆を得た.