プログラミングを対象とした競争型知識共有プラットフォームにおける評価指標の妥当性検証

抄録

システムが熟達者と同等の採点をすることは，その妥当性を担保するうえで重要である．これまで，ロボットプログラミングを題材に，自動採点によるコード評価とそのランキング機能を用いて知識共有を促進するプラットフォームの開発し，有効性を確認してきた．一方，自動採点に用いた評価指標の妥当性は検証できてない．そこで本稿では，システムと熟達者によるコード評価をそれぞれ比較することで，評価指標の妥当性を検証する．