多枝選択式問題作成ガイドラインの実証的検討

抄録

項目作成ガイドラインについての研究は多くされているものの，各ガイドライン項目の影響の仕方や大きさ等については明らかにされていない部分が多い。また，受検者が項目のFlawに気が付かないにもかかわらず，そのFlawによって正答率が変化するなどと項目特性が変化するとすれば，測定上問題がある。英語，数学，国語について，項目作成ガイドラインに準拠している項目と準拠していない項目を対にして計52 項目の多枝選択式問題を作成し，477 名の大学生にテストを実施して，正答率やFlawに気付くかなどの調査を行った。その結果，受検者にFlawを指摘されないのにもかかわらず正答率が変化する項目が確認された。また，項目間に依存性が生じている項目や，選択枝に否定表現が含まれる項目では，ガイドラインに準拠する項目よりも準拠しない項目の方が正答率が低かった。さらに，こうした項目のFlawは正答率に影響するにもかかわらず，受検者は違和感を覚えないことが示された。項目の作成の仕方によっては，出題者の意図していない影響が項目特性に及ぶことが明らかにされた。