言語モデルの文法知識の評価は，しばしばミニマルペアベンチマークを用いて行われる．ミニマルペアとは，容認可能な文と容認不可能な文からなる文対である．容認性判断の方法としては，モデルを用いて計算した各文の生成確率を比較する手法が支配的である．しかし，近年の大規模言語モデル (LLM) はプロンプトに基づいてタスクを遂行することを想定して訓練されている点を踏まえると，LLM が割り当てる確率がモデルの知識を完全に反映したものであるとは限らない．そこで本研究では，プロンプトまたはテンプレートを用いて，LLM からより正確な容認性判断を引き出す方法を探る．英語と中国語について実験を行い，9 つの判断手法を比較した結果，テンプレートを用いた手法であるIn-template LPおよびプロンプトに基づく手法である Yes/No 確率比較が，従来手法よりも高い正解率を達成した．また，両手法をアンサンブルすることで，一方の手法のみを用いる場合より高い性能が得られることも確認された．以上の結果から，我々は，LLM の文法知識を十全に引き出しながら評価するための手法として，In-template LP を用いるか，または In-template LP と Yes/No 確率比較のアンサンブルを用いることを推奨する．
