サポートベクターマシンに基づく試験合否予測モデルの構築

Abstract

個々の学生の知識修得度の推移が特定の指標により測定可能であれば，その測定結果を利用することにより，より効果的な教育施策の策定やその実施した教育施策の有効性の評価が可能になると考えられる．そこで，本研究では，サポートベクターマシン（SVM）を用いた試験合否予測が知識修得度の指標となり得るか否か検討した．今回，合否予測モデルを平成27年度6年生在籍者の9月実施模擬試験の成績データと第101回薬剤師国家試験結果から構築した．構築したモデルの有用性を確認するため，平成28年度6年生在籍者の9月実施模擬試験の成績データから本モデルにより第102回薬剤師国家試験の合否を予測させ，モデルの導き出した予測と実際の合否と比較した．本研究の結果から，本モデルは比較的高い精度で合否を予測することが可能であり，知識修得度の推移の指標として有用である可能性が示唆された．

はじめに

薬学部学生の学力低下が問題になっているなか，多くの薬学部では様々な教育施策を実施して学力の向上に努めていると思われる．とりわけ上級学年においては，薬剤師国家試験に向けた教育施策が重要になってくる．薬剤師国家試験に向けて総合的な学習を行った際に，特定の指標によって個々の学生の知識修得状況が測定できれば，測定結果に基づいたよりきめの細かい教育を提供することや実施した教育施策の有効性を評価することが可能になる．そこで我々は，サポートベクターマシン（Support Vector Machine: SVM）を用いて過去に大学に在籍していた学生の成績データから試験合否予測モデルを構築し，このモデルが導き出す合否判別回数を知識修得度の指標とすることを試みた．本研究では，合否予測モデルの予測精度を確認するため，平成27年度6年生在籍者の9月実施模擬試験と第101回薬剤師国家試験のデータを用いて合否予測モデルを構築し，そのモデルを用いて平成28年度6年生在籍者の9月実施模擬試験から第102回薬剤師国家試験の合否を予測させ，実際の合否と比較した．

方法

今回，パターン認識の手法の1つであるサポートベクターマシン（Support Vector Machine: SVM）^1–4) を合否予測モデルの構築に用いた．SVMは，実データ解析に広く利用されている判別手法であり，近年様々な応用例が発表されている^2,5–9)．その特徴は，マージン最大化を基準にすることで，高い判別性能を実現できること，カーネル関数を用いた柔軟なモデリングができること，さらにパラメータ推定が凸2次最適化問題として定式化されるため，高速なアルゴリズムが利用できることにある．

具体的には，個体あるいは対象（本研究の場合，学生の模擬試験の成績）を特徴づけるp個の変数x = (x₁, x₂, ..., x_p)^Tに関して観測されたn個の学習データをx₁, x₂, ..., x_nとする．これらの学習データは，2つの群G₁，G₂（本研究の場合，第101回薬剤師国家試験の合格または不合格）のどちらに属しているのか既にわかっているとする（y_i = 1のとき合格，y_i = –1のとき不合格）．

SVMは，例えば，2つの群G₁，G₂を分離する道路を作ることを考えると，道路の両端の路肩上にデータはあってよいが，道路の中にはデータは入らないようにする．このときの分離超平面は，道路の中央分離帯とする．このような道路は無数に作ることができるが，最も道幅の広い道路を作ることを，最適な分離超平面と考える（マージン最大化）（図1）．この考え方を基に，本研究では，薬剤師国家試験に出題される9分野（物理，化学，生物，衛生，薬理，薬剤，病態・薬物治療，法規・制度・倫理，実務）を用いて合否予測モデルを構築した．すなわち，平成27年度6年生在籍者の9月実施模擬試験（薬学ゼミナール 第228回全国統一模擬試験）の成績データを用いて，第101回薬剤師国家試験の合格と不合格を分けるボーダーラインを構成することにより合否予測モデルを構築し，平成28年度6年生在籍者の9月実施模擬試験（薬学ゼミナール 第231回全国統一模擬試験）の成績データから，第102回薬剤師国家試験の合否予測を行った．なお，本モデルの構築においては，平成27年度6年生在籍者のうち，9月実施模擬試験の全科目を受験した学生の成績データのみを用いている．

図1

マージン最大化のイメージ

本研究では，複雑な非線形構造を内在するデータを捉えるために，非線形関数φ(x)を用いたカーネル法を用いている．カーネル関数として，ガウシアンカーネルK(x_i, x_j) = exp (–γ‌||x_i – x_j||²) = Φ(x_i)^TΦ(x_j)を採用している．マージン最大化に基づく最適化問題は以下の通りである．

min{$\frac{1}{2}$w^TQw – e^Tw} subject to 0 ≤ w_i ≤ C, i = 1, ..., n and y^Tw = 0，

ここで，Q_ij = y_i y_jK(x_i, x_j)である．

上記の最適化問題で，調整すべきパラメータγ，Cは，モデル評価基準のひとつであるクロス・バリデーション（cross-validation：交差検証法）を用いて選択している^10–15)．クロス・バリデーションは，モデルの推定に用いるデータとモデルの評価に用いるデータを分離して行う方法で，得られたデータのみに基づいて推定したモデルの良さを予測の観点から測る基準である．実際には得られたデータとは別に将来のデータを獲得する状況は困難である場合が多い．そこで，得られたデータのみに基づいて予測の観点からモデルを評価するために考えられた方法である．得られたデータを分離し，一方をモデルの推定に用い，もう一方を推定したモデルの予測精度を測るために用い，調整すべきパラメータγ，Cの各値において，予測誤差を計算する．その中で予測誤差が最小となるモデルを最適なモデルとして選択する．

本研究では，合否予測モデルの実装に統計ソフトRのパッケージ “svm” を使用し，合否判別の試行は乱数シードを変えて100回実施した．

結果

平成27年度6年生在籍者123名の9月実施模擬試験結果と当該学生らが受験した第101回薬剤師国家試験を用いて合否予測モデルを構築し，そのモデルを用いて平成28年度6年生在籍者99名の9月実施模擬試験から第102回薬剤師国家試験（第102回国試）の合否を予測させ，実際の合否と異なった判別回数をカウントしたところ，平均誤判別率は13.3%（標準誤差1.5%）であった．

模擬試験の総合得点及び各科目の得点，合否予測モデルが導き出した第102回国試の合格判別回数，実際の第102回国試の合否，誤判別回数を表1にまとめた．ここで，誤判別回数は，合否予測モデルによる100回の判別のうち実際の結果と異なる判別をした回数であり，第102回国試に合格した場合は【誤判別回数＝100－合格判別回数】，不合格（卒業不認定による未受験を含む）だった場合は【誤判別回数＝合格判別回数】と算出している．模擬試験の総合得点が高い順に結果を整理（最高点：255点）したところ，総合得点171点を境に合否予測モデルによる合格判別回数に大きな差が認められるようになった．すなわち，総合得点171点以上では合格判別回数が89回～100回であるのに対し，169点以下では合格判別0回となる学生が見受けられるようになった．表1への記載は省いているが，総合得点175点以上の学生は合格判別回数が92回以上となり，全員が第102回国試に合格していた．また，総合得点が169点以下であっても合格判別回数の多い学生が散見され（総合得点163点－合格判別93回，総合得点160点－合格判別74回，総合得点157点－合格判別68回），当該学生は全員に第102回国試に合格していた．総合得点が149～155点の範囲では，合格判別回数に大きなバラつきが認められるようになり，総合得点154点以下で合格と判別される学生はいなかった．

表1 模擬試験の結果とSVMによる合格判別回数及び第102回薬剤師国家試験の合否（○：国家試験合格，×：国家試験不合格または卒業不認定）

総合 （345）	物理 （20）	化学 （20）	生物 （20）	衛生 （40）	薬理 （40）	薬剤 （40）	病態薬治 （40）	法規制度倫理 （30）	実務 （95）	国試合否	誤判別 回数	合格判別 回数
255	16	7	15	29	31	31	30	21	75	○	0	100
：	：	：	：	：	：	：	：	：	：	：	：	：
175	9	8	9	19	24	20	18	14	54	○	0	100
174	8	8	8	15	23	20	17	11	64	×	67	67
174	10	3	7	14	25	20	17	14	64	○	3	97
172	12	6	6	17	23	22	20	11	55	○	3	97
171	9	2	8	19	21	21	20	11	60	○	11	89
169	8	5	3	16	24	15	19	13	66	○	100	0
168	8	3	5	20	23	18	20	10	61	○	100	0
163	10	6	10	15	19	22	15	13	53	○	7	93
162	6	1	3	20	21	21	23	13	54	○	100	0
161	6	4	9	16	24	16	17	13	56	○	100	0
160	8	6	7	14	25	22	15	11	52	○	26	74
159	12	4	3	18	17	20	19	11	55	×	0	0
158	6	7	6	14	15	19	18	18	55	×	9	9
158	11	4	6	19	21	19	16	14	48	○	87	13
157	8	7	8	13	19	22	15	13	52	○	32	68
157	7	9	2	14	22	16	17	12	58	○	100	0
157	10	1	7	17	20	18	19	14	51	×	0	0
157	5	4	6	14	21	19	20	14	54	×	0	0
156	11	6	5	15	25	19	16	10	49	×	8	8
156	5	6	5	17	27	17	16	12	51	○	100	0
155	8	3	7	11	25	18	20	15	48	×	32	32
155	5	4	7	14	28	16	18	10	53	○	100	0
154	10	3	5	10	18	18	24	14	52	×	0	0
154	10	6	5	12	17	20	19	7	58	○	100	0
154	9	6	4	22	15	14	16	13	55	×	0	0
152	7	4	4	18	17	19	19	12	52	×	0	0
151	6	6	5	15	23	17	17	8	54	○	100	0
151	8	4	3	17	23	14	20	10	52	×	0	0
149	8	4	0	12	21	22	15	14	53	×	0	0
149	11	6	2	14	22	14	17	9	54	○	100	0
147	10	5	2	16	18	18	20	10	48	×	0	0
146	9	5	4	14	22	13	16	9	54	×	0	0
146	12	4	3	12	21	17	21	9	47	×	0	0
146	8	4	3	19	16	17	15	13	51	×	0	0
144	9	4	5	11	25	15	15	12	48	×	0	0
：	：	：	：	：	：	：	：	：	：	：	：	：

次に，合否予測モデルによる合格判別に誤判別が出た27名に着目し，合格判別回数と第102回国試の合否との関係性を調べた（表2）．なお，合格判別回数が100回の学生は全員第102回国試に合格しており，誤判別回数が0回であるため，表2に含んでいない．合格判別回数が0回ではない（8～98回）学生は17名おり，そのうち13名が第102回国試に合格していた（合格率76.5%）．特に，合格判別回数が68回以上の学生の合格率は100%であった．また，合格判別回数が0回となっても第102回国試に合格した学生が10名いた．

表2 合格判別回数と第102回薬剤師国家試験の合否との関係性

総合 （345）	物理 （20）	化学 （20）	生物 （20）	衛生 （40）	薬理 （40）	薬剤 （40）	病態薬治 （40）	法規制度倫理 （30）	実務 （95）	国試合否	誤判別 回数	合格判別 回数
207	9	10	8	20	32	25	28	12	63	○	2	98
199	11	6	9	26	31	21	24	10	61	○	2	98
194	11	3	7	24	26	19	25	14	65	○	2	98
174	10	3	7	14	25	20	17	14	64	○	3	97
172	12	6	6	17	23	22	20	11	55	○	3	97
188	11	5	5	23	20	22	26	17	59	○	6	94
176	10	5	4	18	23	22	19	14	61	○	7	93
163	10	6	10	15	19	22	15	13	53	○	7	93
252	15	17	18	27	31	28	29	17	70	○	8	92
171	9	2	8	19	21	21	20	11	60	○	11	89
160	8	6	7	14	25	22	15	11	52	○	26	74
157	8	7	8	13	19	22	15	13	52	○	32	68
174	8	8	8	15	23	20	17	11	64	×	67	67
155	8	3	7	11	25	18	20	15	48	×	32	32
158	11	4	6	19	21	19	16	14	48	○	87	13
158	6	7	6	14	15	19	18	18	55	×	9	9
156	11	6	5	15	25	19	16	10	49	×	8	8
169	8	5	3	16	24	15	19	13	66	○	100	0
168	8	3	5	20	23	18	20	10	61	○	100	0
162	6	1	3	20	21	21	23	13	54	○	100	0
161	6	4	9	16	24	16	17	13	56	○	100	0
157	7	9	2	14	22	16	17	12	58	○	100	0
156	5	6	5	17	27	17	16	12	51	○	100	0
155	5	4	7	14	28	16	18	10	53	○	100	0
154	10	6	5	12	17	20	19	7	58	○	100	0
151	6	6	5	15	23	17	17	8	54	○	100	0
149	11	6	2	14	22	14	17	9	54	○	100	0

薬剤師国家試験は，それぞれ内容の大きく異なる9分野の総合試験であり，また，配点も異なるため，合格判別に及ぼす各分野の影響の度合いはそれぞれ大きく異なることが予測される．従って，合格判別が8回～98回となった17名について，合格判別回数と9分野それぞれの得点との相関性について調べた（図2）．まず，総合得点と合格判別回数との相関性については，相関係数r = 0.552となり，中等度の正の相関性が認められた．一般的に，正の相関があると解釈される「相関係数0.2以上」となった分野は，相関が強い順に実務系（r = 0.679） > 薬剤系（r = 0.561） > 衛生系（r = 0.474） > 病態・薬物治療系（r = 0.468） > 薬理系（r = 0.393） > 物理系（r = 0.360） > 生物系（r = 0.292）であった．一方，化学系（r = 0.118）及び法規・制度・倫理系（r = –0.150）では相関係数rが–0.2～0.2の範囲にあり，得点と合格判別回数との間にほとんど相関が認められなかった．

図2

合格判別回数と各分野の得点との相関性

考察

今回，我々が構築したSVMに基づく合否予測モデルが知識修得度の指標として有用であるか否か確認するため，平成28年度6年生在籍者の模擬試験の結果をもとに第102回国試の合否を予測させ，実際の合否結果と比較した．合否予測モデルを構築した平成27年度6年生在籍者と予測結果を検証した平成28年度6年生は，共に9月，11月および1月に実施された模擬試験を受験している．そのうち今回は，予測結果を最も早い段階で教育に反映することができる9月実施模擬試験結果を用いて予測精度を検証した．予測結果と実際の合否結果を比較し，実際の合否結果と異なる判別を「誤判別」として，100回の判別のうちの誤判別率を算出したところ，データとして用いた99名の平均誤判別率は13.3%（標準誤差1.5%）であった．この結果から，本モデルは比較的高い精度で合否を予測しており，有用な合否予測モデルとなり得る．特に，合格判別回数が100回と判定された学生は全員第102回国試に合格したため，平均誤判別率は0%となった．今回は9月の模擬試験で予測しているため薬剤師国家試験までは約半年の期間があり，その間に学生個々の知識修得度も変化していくと思われる．それにもかかわらず誤判別が全く出なかったことは，SVMによる予測精度が高いと同時に成績上位層の学力は非常に安定していることを示している．合格判別回数が1回以上99回以下（本データでは8～99回）では，実際の合否と異なる判別をしているため必ず誤判別がカウントされる．表2において，合格判別回数が68回以上の学生は全員合格している一方で，32回，9回及び8回の学生は不合格となっていることから，合格判別回数が多いほど実際に合格する確率が高くなる傾向が読み取れる．しかし，合格判別が67回でも不合格（誤判別67回）や合格判別13回でも合格（誤判別87回）となった学生もいるため，合格判別が100回とならない層に位置する学生は9月から薬剤師国家試験までの間の知識修得具合で合否が大きく影響される層と言える．

今回，合格判別回数が8～99回に17名の学生が入ったが，この判別回数の違いに各分野の得点がどのように影響するのかを散布図を用いて視覚化し，相関係数を求めた．相関係数は，一般的に0.0～±0.2：ほとんど相関が無い，0.2～±0.4：弱い相関がある，0.4～±0.7：中程度の相関がある，0.7～±1.0：強い相関があると判断される．今回の結果において，分野別では実務系に最も強い正の相関が認められた．実務系は配点が95点であり，他分野に比べて格段に多いため，この結果は妥当であると思われる．配点が40点である衛生系，薬理系，薬剤系及び病態・薬物治療系では，薬剤系に比較的強い相関が認められ，次いで，衛生系，病態・薬物治療系，薬理系との順になった．この結果は，9月時点で薬剤系の得点の高い学生は合否予測モデルで合格と判別されやすい傾向にあることを示しており，当該分野が暗記のみでなく比較的計算力が要求される分野であることと関係しているのかもしれない．配点が20点の分野については，最も相関の強かった物理系でも，配点40点の分野で最も相関の弱かった薬理系よりも相関係数は低い値となった．同配点の分野間では，相関の強さは物理 > 生物 > 化学となり，特に化学はほとんど相関がないとの結果となった．しかし，今回用いた17名の成績データには，物理，化学及び生物に非常に得点の高い1名の成績が入っており，この成績に大きく影響される傾向にあったため，本結果をもって相関の強弱を判断するのは適切ではない．また，配点が30点である法規・制度・倫理には，正の相関は認められなかった．これは9月時点での当該分野の得点は，合否予測モデルでの合否判別にほとんど影響しないことを意味するが，この結果には学生の学習の進度が多分に影響していると思われる．すなわち，今回の合否予測モデルを構築した平成27年度6年生の第101回薬剤師国家試験合格者は，9月時点では法規・制度・倫理の学習が進んでおらず，9月以降に薬剤師国家試験合格レベルに伸ばしていったことが推測できる．法規・制度・倫理を含め，各分野の得点と合格判別回数との相関が，薬剤師国家試験に近づく11月や1月の模擬試験ではどのように変化していくか大変興味深い．

今回，一度も合格判別されなかった学生のうち，10名が第102回国試に合格した．この結果は，9月時点での合格判別回数が0回でも，その後の学修次第では十分合格できる可能性があることを意味すると同時に合否予測の不確定さを示している．従って，本合否予測モデルの予測結果を成績評価，ましてや薬剤師国家試験を受験させない学生の抽出に利用するようなことは絶対にあってはならない．この10名の成績を総合得点順に並べた表1で見ると，合格判別が0回で第102回国試に合格した学生の最低点は149点であるのに対し，合格判別のついた最低点が155点であり，その差はわずか6点であった．また，総合得点155点付近は，第102回国試に合格となる学生と不合格となる学生が混在している得点領域でもある．従って，総合得点順に成績を並べたとき，合格判別がカウントされる最低ラインが薬剤師国家試験合否のボーダーと判断できる可能性がある．

今回，SVMに基づく合否予測モデルの精度を薬剤師国家試験の合否結果を用いて確認したところ，ある程度の正確さをもって予測できる可能性が示唆された．特に，合格判別100回の学生の合格率は100%，合格判別1回以上99回以下（本データでは8～99回）の学生の合格率が76.5%だったことから，合格判別が1回でもカウントされる学生は，合格できる可能性が非常に高いといえる．ただし，合否予測する試験の難易度や試験を構成する各分野の難易度が合否予測モデル構築に利用した試験と大きく異なる場合は，予測の精度は大幅に低下することに留意する必要がある．

本学では薬剤師国家試験に必要とされる知識を新規に修得する講義は6年生前期で終了する．従って，今回合否予測モデル構築に用いた9月実施模擬試験は，6年生が約5年半かけて修得してきた知識の修得度を確認することができる最初の試験であり，その結果は，知識修得度を確認する次の機会である11月実施模擬試験または約5か月後に控えている薬剤師国家試験までの自己学修計画の立案や教員による指導において重要な参考資料になる．今回の結果から，合格判別回数が100回となった学生，すなわち5年半の修学の成果を9月時点で十分に発揮できる学生は，薬剤師国家試験まで安定して好成績を維持できる傾向がある．しかし，合格判別回数が0回や非常に少なかった学生，すなわち5年半の修学における知識修得が9月時点で不十分な学生は，薬剤師国家試験までの約5か月間での学修次第で合否が左右されるため，9月実施模擬試験結果を踏まえた学修指導が特に重要となる．一般的に，模擬試験結果を踏まえて個々の学生を指導する際には，模擬試験の総合得点や分野別の得点が指標として重要視される．本モデルを用いると，個々の学生について，「どの分野を伸ばせば合格判別回数がより多くなるか」といったことが仮想の得点を入力することで算出することも可能となる（例えば，物理系の得点があと3点プラスだった場合で合格判別回数を算出する）ため，従来の指標に本モデルを取り入れることで，9月以降の学修において，今まで以上にきめ細かい指導（例えば，9月時点で学生Aと学生Bは共に生物系と化学系の知識修得が不十分だが，学生Aは生物系を，学生Bは化学系を優先的に学修していくと効率が良いなど）を実施できる可能性がある．さらに，実施時期の異なる模擬試験（例えば，6月→9月→11月→1月）であらかじめ合否予測モデルを構築しておけば，それぞれの時期ごとの知識修得度の推移を，合格判別回数を指標として推測することが可能になるかもしれない．

今回，我々は6年生の模擬試験結果らか薬剤師国家試験の合否を予測したが，本モデルはそれだけでなく，CBTの結果からの薬剤師国家試験合否予測，定期試験結果からの留年予測などにも応用可能であり，これらの予測を参考にすることで，より的確な学生指導を実施できる可能性がある．今後，さらに本モデルの検証を重ね，教育現場への利用方法を模索していきたい．

発表内容に関連し，開示すべき利益相反はない．

文献

• 1)  Vapnik V. Statistical Learning Theory. New York : John Wiley & Sons; 1998.
• 2)  Cristianini N, Shawe-Taylor J. An Introduction to Support Vector Machines. Cambridge University Press; 2000.
• 3)  Vapnik V. The Nature of Statistical Learning Theory. New York: Springer; 1996.
• 4)  Wahba G, Lin Y, Zhang H. GACV for support vector machines. In: Smola A, Bartlett P, Schölkopf B, Schuurmans D, editors. Advances in Large Margin Classifiers. Cambridge, MA: MIT Press; 2000. p. 297–311.
• 5)  Bishop C. Pattern Recognition and Machine Learning. New York: Springer; 2006.
• 6)  Hastie T, Tibshirani R, Friedman J. The Elements of Statistical Learning. 2nd ed. Springer; 2009.
• 7)  Ripley BD. Pattern Recognition and Neural Networks. Cambridge University Press; 1996.
• 8)  Cherkassky V, Mulier F. Learning from Data. 2nd ed. New York: Wiley; 2007.
• 9)  Bishop CM. Neural Networks for Pattern Recognition. Oxford: Clarendon Press; 1995.
• 10)   Stone  M. Cross-validatory choice and assessment of statistical predictions. J R Stat Soc Series B Stat Methodol. 1974; 36: 111–147.
• 11)   Stone  M. An asymptotic equivalence of choice of model by cross-validation and Akaike’s criterion. J R Stat Soc Series B Stat Methodol. 1977; 39: 44–47.
• 12)   Allen  D. The relationship between variable selection and data augmentation and a method of prediction. Technometrics. 1977; 16: 125–127.
• 13)   Golub  G,  Heath  M,  Wahba  G. Generalized cross-validation as a method for choosing a good ridge parameter. Technometrics. 1979; 21: 215–224.
• 14)  Wahba G. Spline bases, regularization, and generalized cross-validation for solving approximation problems with large quantities of noisy data. Proceedings of the International Conference on Approximation theory in Honour of George Lorenz. Austin, Texas: Academic Press; 1980. p. 905–912.
• 15)  Wahba G. Spline Models for Observational Data. Philadelphia: SIAM; 1990.