大規模言語モデルを用いたユースケース文書の整合性評価

抄録

要求文書の整合性評価は，ソフトウェア開発で重要である．要求文書は曖昧さや不整合が生じやすく，効率的な整合性評価が課題である．本研究では，ユースケース図と記述との間の整合性を，大規模言語モデル（LLM）を利用して評価する方法を確立することを目的とする．技術的課題として，整合性評価の出力の精度と一貫性の向上を挙げる．課題解決へのアプローチとして，Zero-shot Prompting，PlantUML の使用，Zero-Shot Chain of Thought Prompting，Chain of Thought Prompting の技術を組み合わせたプロンプト設計を行った．LLMは単純な不整合の検出に一定の成果を上げたが，複雑なフローやユースケース間の相互依存性を正確に評価するには限界があることがわかった．これらの実験を通じ，課題として，LLMから出力される修正案をより具体的で一貫したものにする必要があることを確認した．LLMが複雑なユースケースを正確に解釈し，適切な提案を生成するには，プロンプトの改良や補助的な指示の提供が重要であることがわかった．