項目反応理論を用いた評価能力の高い機械学習データセット自動生成手法

抄録

本研究の目的は，機械学習を学ぶ学生や技術者らが参加する競技会において，提案アルゴリズムの性能を適切に評価可能なデータセットを構築することである．従来，競技会で用いられるデータセットはアドホックに決定されることがほとんどである．そのため，どのようなアルゴリズムであっても高い性能を得るデータが使用されるなど，データセットの構築方法が課題であった．そこで，本研究では，試験問題作成や受験者の能力評価に関する理論である項目反応理論と，パラメータに応じた画像の生成技術であるConditional VAEを活用し，評価能力の高いデータセットを構築するフレームワークを提案する．実験の結果，提案フレームワークにより生成されたデータセットが，既存のMNISTと比較し高い評価能力を示すことを確認した．