薬剤師国家試験合否予測モデルを利用した学生の学修状況の把握

Abstract

我々は，学生の知識修得度の指標として，サポートベクターマシン（SVM）を利用して構築した試験合否予測モデルが導き出す合否判別を利用することを試みている．先の報告において，9月実施模擬試験結果を用いて薬剤師国家試験合否予測モデルを構築し，その予測精度を確認したところ，本予測モデルは比較的高い精度で合否を予測できることが確認できた．そこで今回，9月に加え，さらに学修が進行した11月及び1月に実施した模擬試験結果からも合否予測モデルを構築し，各予測モデルが導き出す合否判別を指標として個々の学生の知識修得度の推移を調査した．その結果，9月の段階で学修が進んでいる学生は後半に伸びてくる学生よりも薬剤師国家試験合格率が高い傾向にあった．また，総合得点を指標とした場合には捉えにくかった個々の学生の学修の進行度が，合格判別を指標とすることで捉えやすくなることが示された．

はじめに

薬剤師国家試験（国試）に向けて数ヶ月の長期にわたり学修していく際に，定期的に個々の学生の知識修得状況を正確に把握することは，その後の学修に向けたより効果的な自己学修計画の策定や教員による学修指導につながることが期待できる．我々は，学生の知識修得状況を正確に把握するための指標として，サポートベクターマシン（Support Vector Machine: SVM）を用いた試験合否予測モデルが導き出す予測結果を利用することを試みている．先の報告において，平成27年度6年生在籍者の9月実施模擬試験（模試）の成績データと当該学生らが受験した第101回国試の合否結果から合否予測モデルを作成し，この予測モデルを使用して平成28年度6年生在籍者の9月実施模試の成績データから当該学生らが受験した第102回国試の合否を予測させ，予測精度を確かめるために実際の合否結果と比較したところ，本予測モデルは比較的高い精度で合否を予測していた¹⁾．また，国試に出題される9分野の得点と合否予測との相関を確認したところ，9月実施模試では，実務系及び薬剤系の得点と合否結果に比較的強い相関が認められた．そこで本研究では，9月に加え，さらに学修が進行した11月及び1月に実施した模試の結果からも国試の合否予測モデルを構築し，各予測モデルが導き出す予測結果を指標として個々の学生の知識修得度の推移を調査した．また，一般的に利用される総合得点の推移と合否予測の推移を比較し，両者の違いについて検証した．

方法

サポートベクターマシン（SVM） ^2–5) に基づく国試合否予測モデルは過去の報告に従って構築した¹⁾．本研究では，個々の学生の知識修得度の推移を調査するために，平成27年度6年生在籍者が受験した9月，11月及び1月実施模試の9分野（物理，化学，生物，衛生，薬理，薬剤，病態・薬物治療，法規・制度・倫理，実務）の得点と当該学生らが受験した第101回国試の合否結果から模試ごとに3つの合否予測モデル，すなわち，9月予測モデル，11月予測モデル及び1月予測モデルを構築した．これら3つの予測モデルを用いて，平成28年度6年生在籍者が受験した9月，11月及び1月実施模試の結果から，同じ実施月の予測モデルを用いて第102回国試の合否を予測させ，実際の合否結果と比較した．合否予測の試行は乱数シードを変えて100回実施し，そのうち合格と判別した回数を「合格判別回数」とした．また，合否予測と実際の合否とを比較して，予測モデルが誤った判別をした回数を「誤判別回数」とした．本研究では，予測モデルの構築及び構築したモデルでの予測には薬学ゼミナール全国統一模試（第228回～第233回）を使用した（表1）．

表1 本研究で使用した薬剤師国家試験模擬試験

予測モデル構築に用いた模試 （平成27年度6年生在籍者が受験）	模試番号	第228回 全国統一模試I	第229回 全国統一模試II	第230回 全国統一模試III
	実施日	平成27年9月24，25日	平成27年11月26，27日	平成28年1月28，29日
予測に用いた模試 （平成28年度6年生在籍者が受験）	模試番号	第231回 全国統一模試I	第232回 全国統一模試II	第233回 全国統一模試III
	実施日	平成28年9月29，30日	平成28年11月24，25日	平成29年1月26，27日

国試合格者と国試不合格者の合格判別回数の比較にはMann–Whitney U検定を用い，P < 0.05をもって統計学的有意とした．

結果

それぞれの模試の総合得点，合否予測モデルが導き出した第102回国試の合格判別回数，誤判別回数，実際の第102回国試の合否結果及び予測の平均誤判別率を表2にまとめた．表2は，9月模試における総合得点が高い順に並べ高い順に並べ，190点台（国試合格）から3名，150～160点台（国試合格と国試不合格が混在）から7名，120点台（国試不合格）から3名の成績データを抜粋したものである．各模試からの予測について平均誤判別率を算出したところ，9月模試で13.3%（標準誤差3.2%），11月模試で10.1%（標準誤差2.4%），1月模試で9.3%（標準誤差2.2%）となった．

表2 模擬試験の総合得点，SVMによる合格判別回数，誤判別回数及び第102回薬剤師国家試験の合否の一部抜粋（9月実施模擬試験総合得点降順，○：国家試験合格，×：国家試験不合格または卒業不認定）

	9月			11月			1月			国試合否
	総合得点（10点刻み）	合格判別回数	誤判別回数	総合得点（10点刻み）	合格判別回数	誤判別回数	総合得点（10点刻み）	合格判別回数	誤判別回数
	：	：	：	：	：	：	：	：	：	：
a	190点台	98	2	220点台	100	0	240点台	100	0	○
b	190点台	100	0	210点台	100	0	220点台	100	0	○
c	190点台	100	0	230点台	100	0	250点台	100	0	○
	：	：	：	：	：	：	：	：	：	：
d	160点台	0	100	170点台	5	95	200点台	100	0	○
e	150点台	9	9	180点台	0	0	180点台	24	24	×
f	150点台	68	32	180点台	0	100	210点台	100	0	○
g	150点台	0	100	200点台	95	5	200点台	100	0	○
h	150点台	0	100	190点台	95	5	210点台	100	0	○
i	150点台	8	8	180点台	61	61	190点台	34	34	×
j	150点台	0	100	190点台	100	0	190点台	85	15	○
	：	：	：	：	：	：	：	：	：	：
k	120点台	0	0	150点台	0	0	170点台	0	0	×
l	120点台	0	0	150点台	0	0	170点台	0	0	×
m	120点台	0	0	140点台	0	0	130点台	0	0	×
	：	：	：	：	：	：	：	：	：	：
	受験者：99人 平均誤判別率：13.3% 標準誤差：3.2% 全国平均点：163.8点 全国受験者数：11507人			受験者：114人 平均誤判別率：10.1% 標準誤差：2.4% 全国平均点：185.9点 全国受験者数：11906人			受験者：115人 平均誤判別率：9.3% 標準誤差：2.2% 全国平均点：210.4点 全国受験者数：11386人

次に，各模試から予測モデルが導き出した合格判別回数と第102回国試の合否との関係性を調べるため，合格判別回数を100回，50～99回，1～49回及び0回に分け，それぞれに該当する学生の第102回国試合格率を表3にまとめた．なお，表3は，成績情報公開の制限により各合格率を算出した人数の記載は避けているが，合格判別回数1～49回の9月及び11月の合格率（それぞれ25.0%及び33.3%）以外は10名以上の合否結果から合格率を算出している．いずれの模試でも，合格判別回数が100回となった学生は96%以上が国試に合格した．合格判別回数50～99回では，9月模試では国試合格率は92.3%であったが，11月では76.5%，1月では53.8%となり，実施時期が遅くなるにつれ合格率は大幅に低下した．合格判別回数が1～49回以下の学生の国試合格率はいずれの模試でも34%未満と低い値を示した．合格判別回数0回となった場合については，9月模試では16.1%，11月模試では4.9%の学生が国試に合格した．しかし，1月模試において合格判別回数0回となった学生は，全員国試に合格することができなかった．今回，合格判別回数50～99回と算出された学生の国試合格率は模試間で大きな差があり，特に1月模試では9月模試に比べ大幅に低下していた．そこで，1月模試で合格判別回数50～99回となった学生について，国試に合格した学生と不合格だった学生の合格判別回数の推移を調べた（図1）．その結果，9月模試，11月模試及び1月模試の平均合格判別回数（平均値±標準誤差）は，国試合格者では51.9 ± 17.2→81.6 ± 10.4→85.3 ± 6.3と推移しているのに対し，国試不合格者では13.4 ± 12.0→25.2 ± 14.6→81.3 ± 3.6と推移しており，国試不合格者は9月及び11月模試の合格判別回数が国試合格者よりも低く，特に11月模試では統計学的な有意差が認められた．

表3 合格判別回数別にまとめた第102回薬剤師国家試験合格率

合格判別回数	国家試験合格率（%）
	9月	11月	1月
100回	100	96.3	97.4
50～99回	92.3	76.5	53.8
1～49回	25.0	33.3	9.1
0回	16.1	4.9	0

図1

1月模試で合格判別回数50～99回となった学生の合格判別回数の推移（国試合格者と国試不合格者との比較，*P < 0.05）

次に，合格判別回数算出に及ぼす各分野の得点の影響度を調べるため，合格判別回数1～99回となった予測において，合格判別回数と9分野それぞれの得点及び総合得点との相関性について調べた（表4）．9分野のうち，9月模試の実務系及び1月模試の薬剤系の相関係数がそれぞれ0.68及び0.63と比較的高い値となった．総合得点では11月及び1月模試で相関係数がそれぞれ0.70及び0.84となり，強い相関性を示した．

表4 合格判別回数（1～99回）と各分野の得点及び総合得点との相関性

分野	9月（17名）	11月（23名）	1月（24名）
物理	0.36	0.36	0.16
化学	0.12	–0.030	0.27
生物	0.29	0.36	–0.034
衛生	0.47	0.39	0.40
薬理	0.39	0.10	0.50
薬剤	0.56	0.38	0.63
病態・治療	0.47	0.23	0.34
法規・制度・倫理	–0.15	0.34	0.09
実務	0.68	0.13	0.34
総合	0.55	0.70	0.84

考察

今回我々は，9月，11月及び1月模試の結果から102回国試の合否を予測させ，各予測モデルが導き出す合否判別を指標として，約4ヶ月間に渡る学生の知識修得度の推移を調査した．実際の合否結果と異なる判別を「誤判別」として，100回の判別のうちの誤判別率を算出したところ，平均誤判別率及びその標準誤差は模試の実施時期が第102回国試に近くなるほど減少しており，予測精度が向上するとともに安定していく傾向が見られた．合格判別回数別に予測精度を確認したところ，いずれの模試からの予測においても，合格判別回数が100回となった場合の予測精度は極めて高く，ほとんどの学生が第102回国試に合格した．特に，多くの学生が国家試験へ向けた学修を本格的に始めたばかり，またはこれから始めていく9月末に受験した9月模試の結果からの合格判別回数が100回となった学生は，全員第102回国試に合格したという事実は，早期での知識修得が国試合格に繋がりやすいことを示唆している．事実，合格判別回数が50～99回において，模試の受験時期が遅くなるにつれて国試合格率は減少しており，1月模試で50～99回となった学生（国試合格率53.8%）について模試の結果を遡ると，国試不合格者は国試合格者に比べて11月模試受験時点まではあまり学修が進んでおらず，その後，1月模試までに集中的に学修し，国試合格者と同程度の成績となったことが推測できる．このように，後半に急速に伸びてくる学生は9月模試受験時点で知識修得度の高い学生よりも合格率が低い傾向にあった．

合格判別回数0回については，9月模試で0回と判定された学生のうち16.1%が第102回国試に合格した．この結果は，9月模試受験時点で知識修得が不十分であっても，その後の学修次第では十分合格できる可能性があることを示している．11月模試においても，合格判別回数0回となった学生の4.9%が第102回国試合格した．しかし，ここに含まれる学生全員が，表2の学生fの例で示すように9月模試からの合格判別回数が68回以上，かつ，1月模試からの合格判別回数は100回であり，11月模試からの結果のみ0回であった．9月模試受験時点で好成績であった学生全員がその後も常に好成績を維持するわけではなく，長期にわたる学修のなかで，今回の4.9%に含まれる学生のように，いわゆる「中弛み」を起こす学生はしばしば出てくる．しかし今回，その全員が第102回国試に合格したという事実は，先に述べたように，早期（9月模試受験時点）で知識修得が進んでいる学生が，（たとえ一時的な中弛みがあったとしても），国試に合格しやすいことを示唆している．

今回，1月模試で合格判別0回となった学生は誰も第102回国試に合格することはできなかった．この結果は，1月模試受験時点で知識修得が不十分であったとき，その時点から国試までの約一ヶ月間で国試合格レベルまで到達することは非常に難しいことを示している．しかし，当然のことながら，たとえ1月実施模試で合格判別回数が0となっても学生の努力，または国試の難易度次第で予測通りとならない可能性は十分にある．

本研究において，合格判別回数算出に及ぼす各分野の得点の影響度を相関係数として数値化したところ，合格判別回数が多い学生は9月模試受験時点では実務系と薬剤系の学修が比較的進んでおり，その後，国試に近づくにつれて分野に関わらず総合的に知識の修得が出来ていたという傾向を捉えることができた．ただし，今回は第101回国試の合否のみで予測モデルを構築しているため，各時期において優先的に学修する分野を今回の相関係数のみで判断するのは適切でない．しかし，過去の国試や今後実施される国試を用いて複数の予測モデルを構築することで，一定の傾向が現れる可能性は十分に考えられる．

模試結果から学生個々人の知識習得度を確認する際の指標の一つとして，一般的に総合得点が利用される．今回のように学生が9月，11月及び1月と定期的に模試を受験した場合には，学生個々人の総合得点の推移と全国平均総合得点（全国平均）の推移を比較することで，学生の知識修得が順調に進んでいるか否かが確認される．しかし，知識修得度の確認に合格判別回数を利用すると，必ずしも総合得点を利用した時と同様の結果とはならずに，異なる結果が見えてくることがある．例えば，表2において，学生dの総合得点は1月模試では11月模試より26点上昇しており，これは全国平均点の上昇（24.5点）とほぼ同じであるが，合格判別回数は5回から100回と大幅に増加している．また，学生fの総合得点は11月模試では9月模試より25点上昇しており，これは全国平均点の上昇（22.1点）をわずかに上回っているが，合格判別回数は68回から0回と大幅に減少している．さらに，学生iと学生jの1月模試の総合得点は1点差（学生i＞学生j）であったが，合格判別回数は大きく異なり，第102回国試の合否はそれぞれ合格判別回数を反映した結果となった．このように，総合得点の推移のみを追っていたのでは捉えにくかった個々の学生の学修状況（例えば，苦手分野の学修を後回しにしているなど）が，合格判別回数を指標とすることにより捉えることが出来る可能性がある．また，合格判別回数は，予測モデルの100回の合否判別試行により0～100の数値をとるため，知識修得度を視覚的に捉えやすく，学生全体の傾向を捉えるために合格判別回数の平均値を利用した場合も，総合得点の非常に高い（または低い）一部の学生の影響を受けることがないといったメリットがある．

今回の研究結果から，本予測モデルが導き出す合格判別回数は学生の知識修得度の推移を把握する指標として利用可能であるとともに，総合得点を指標とした場合に比べ，個々の学生の学修状況の変化を視覚的に捉えやすいといったメリットがあることが示された．このメリットを活かして，合格判別回数が大幅に減少した学生がいた場合，速やかに面談等を実施することで当該学生の学修状況を確認することにより，適切な時期に適切な学修指導を実施できる可能性がある．今後，複数回の国試結果を利用してさらに本モデルの検証を重ねるとともに，実際の教育現場で活用していきたい．

謝辞

本稿作成において，模擬試験データを提供していただきました学校法人医学アカデミー 薬学ゼミナールに厚く御礼申し上げます．

発表内容に関連し，開示すべき利益相反はない．

文献

• 1)   清水  典史， 井上  寛， 松延  千春，他．サポートベクターマシンに基づく試験合否予測モデルの構築．薬学教育．2018; 2: 2017-023. doi: 10.24489/jjphe.2017-023.
• 2)  Vapnik V. Statistical Learning Theory. New York : John Wiley & Sons; 1998.
• 3)  Cristianini N, Shawe-Taylor J. An Introduction to Support Vector Machines: Cambridge University Press; 2000.
• 4)  Vapnik V. The Nature of Statistical Learning Theory. New York: Springer; 1996.
• 5)  Wahba G, Lin Y, Zhang H. GACV for support vector machines. In Smola AJ, Bartlett P, Schölkopf B, Schuurmans D (eds). Advances in Large Margin Classifiers. Cambridge, MA: MIT Press; 2000. p. 297–311.