プロンプト制約条件がLLM生成DEM入力ファイルのモデル化手順の一貫性と実行可能性に与える影響の評価

抄録

科学技術計算ソフトは，その汎用性の高さ故に，初学者にとって入力スクリプト作成に困難が伴う．LLMは，スクリプト作成の有効な補助ツールとなりつつある．LLMは，生成の度に構文表現が異なり得るため，再現性の評価は重要な課題である．本研究では個別要素法解析ソフトのPFC2Dを用いた重力落下パッキングを対象に，制約度の異なる3種類のプロンプトを用いて生成したスクリプトのモデル化手順の一貫性と実行可能性の評価を行った．制約度を高める事で，構文表現の選択は収束する傾向を示し，仕様項目の充足率を上昇させる事がわかった．しかし，実行完了はP0，P1，P2で各3，4，1件であった．制約度を高める事は，構文表現の一貫性向上には有効であるものの，実行可能性を保証するものではない事がわかった．