大規模言語モデル(LLM)は、テキスト生成タスクにおいて、生成されたテキストにスコアを割り当てる評価者として普及しつつある。しかし、LLMの評価者は一貫したスコアを与えることができない。本研究では、プロンプトのデザインがLLMの採点に与える影響を、特に主観的な対話品質評価タスクに焦点を当てて調査する。我々は、プロンプト内の出力順序に関する指示が、特定のLLMの得点分布に大きく影響することを発見した。この発見は、主観的な評価を必要とするタスクにおいて、微妙なプロンプトのデザイン要素が与える影響を浮き彫りにしている。私たちの分析は、LLMを採点者として使用する際の効果的なプロンプト・デザインの理解を深めることに貢献する。
