バンディットアルゴリズムに基づくプロンプト設計戦略の選択によるプロンプト最適化

抄録

大規模言語モデル（LLM）の性能はプロンプトに影響されるため，与えられたタスクに対する性能を向上させるプロンプト最適化手法が開発されている．既存手法は有効なプロンプトを発見しているものの，それらは人間が作成した精巧なプロンプトに匹敵していない．プロンプト最適化手法を改善するために，本研究ではプロンプト設計に関する指針であるプロンプト設計戦略に注目する．Chain-of-Thoughtに代表されるプロンプト設計戦略はプロンプトを作成する上で有効だが，悪影響を及ぼす可能性もあるため，適切な戦略の選択が重要である．近年，LLMによってプロンプト設計戦略を暗黙的に選択しプロンプトに組み込む手法が提案されたが，LLMは最適化を苦手とする報告もあり，LLMによる暗黙的な選択は十分でない可能性がある．本論文では，プロンプト設計戦略を明示的に選択する仕組みを提案し，その仕組みを既存のプロンプト最適化手法に統合する．実験の結果，プロンプト設計戦略の明示的な選択によりプロンプト最適化手法の性能が向上し，Thompson Samplingに基づく仕組みが全体として最も効果的であることを確認した．