土木分野におけるLLM-based Agent適用可能性の評価

抄録

土木分野のように専門性の高い分野において，大規模言語モデル（LLM）は回答性能が低いことが知られている．この問題への対応として Retrieval Augmented Generation (RAG)などの手法が提案されており，土木分野においても適用研究が増加している．一方で対象の文書数が非常に多い場合など，現状のRAGでは対応しきれない問題も存在する可能性がある．ここで，最近では様々な分野でLLM-based Agentの事例が増えており，網羅的に知識の探索を行うなど土木分野でもその活用が期待される．本稿ではRAGやLLM-based Agentの比較分析を行い，適用の評価を行った．結果として，本検討結果からはRAGが高い性能を発揮する結果となった．一方，LLM-based Agentの手法はRAGよりも文書中の適切な箇所を参照できており，その活用可能性を示した．最後に，LLM-based Agent活用にあたっての課題を整理した．