大学入試の小論文試験をはじめとした様々な試験場面において,論述式のテスト項目の利用頻度は高い水準にある.本研究では,論述式テストを通した評価と選抜の信頼性に影響を与える,採点者数,項目数,評定のカテゴリ数,評定の信頼性,採点者間で評定の不一致があった際の補正方法,評定値の分布等の様々な試験実施上の諸要因の影響力について定量的に比較し,相対的にどの要因に関わる工夫を実践上優先すべきであるのかについての指針を得る試みを行った.具体的には,合計得点の信頼性および選抜の正判別率の推定値の観点から,それらに関わる諸要因の影響力を相対的に比較するための二つのシミュレーション研究を行った.その結果,特に評定の信頼性,および項目数と採点者数については,カテゴリ数や評定値の分布,および評定の不一致があった場合の補正方法の要因に比べて,信頼性の推定値や選抜の正判別率の差異に対して遥かに高い影響力を持っていた.そして,特に評定の信頼性の観点からは採点者の訓練や採点基準の明確化,およびそれらの為に必要な採点者間の事前協議が極めて重要であること,また項目数と採点者数については,評定の信頼性を含めこれら単一のみでなく万遍に高めていく必要性が示唆された.
