A new method to predict the passing rate of the national examination using probabilistic model
2021 Volume 21 Issue 2 Pages 61-66
Details
2021 Volume 21 Issue 2 Pages 61-66
医療系大学ではほとんどの学生が国家資格を取得することを目標に入学しているので国家資格試験の合格率は最大の関心事である。各学生の国家試験合格確率と学科全体の合格率が1年前から推定できる方法を提案した。これによって昨年と同じ対策で良いのか、それとも対策を変更する必要があるのかを、具体的なデータに基づいて検討することを可能とするためである。定員40名のある学科の1年間の模擬試験の成績と実際の合格・不合格のデータから、ある時期の模擬試験である点数を取った学生のうち何人の学生が合格していたかの合格確率を点数ごとに計算した。この確率と経時変化を折れ線グラフでモデル化した。このモデルを他の年度のデータに適用した。これによって各回の模擬試験の点数から各学生が昨年度と同じ努力をした場合の本番の試験の合格確率が推定できた。合格確率を合算することで学科全体で何人が合格可能かを推定できた。4年間の結果は、予測された合格率を実際の合格率で除した値を的中率とすると、各年度における2か月前の時点での的中率は0.86、1.00、0.99、1.13となった。当初の予想が悪い結果であれば対策を変更し、試験直前の予測が合格率100％となり、試験当日100％合格を実現できるのが理想的なシナリオである。
The pass rate of the national qualification exam is of utmost concern for medical colleges because students enrol with the goal of obtaining the national qualification. We proposed a method that can estimate the passing probability of each student’s national exam and the passing rate of the department, at the time of 1 year before the exam. This is to make it possible to consider whether the same measures as last year are sufficient or whether the measures need to be changed based on specific data. Based on the results of the one-year mock tests of a department with a capacity of 40 students and the actual pass/fail data, the probability of passing how many of the students who scored the mock test at a certain time passed for the national exam was calculated for each score. This probability and change over time were modelled by a line graph. This model was applied to data for other years. As a result, the probability of passing the actual exam when each student made the same effort as last year could be calculated from the score of each mock test. By adding up the probabilities, we were able to estimate how many people could pass in the department. As for the results for 4 years, if the value obtained by dividing the predicted pass rate by the actual pass rate is taken as the reliability, the reliability as of 2 months before each year was 0.86, 1.00, 0.99, 1.13. The ideal scenario is to change the measures if the initial prediction is bad, then the prediction just before the exam will have a pass rate of 100%, and 100% pass on the day of the national exam can be achieved.
多くの医療系大学・専門学校にとって学生が卒業直前に受験する国家資格試験（以後国家試験と略す）の合格率は最大の関心事のひとつと言ってよい。ほとんどの学生が国家資格を取得することを目標に入学しているからである。そのため各大学は学生の理解度を高め合格率を最大化するべくカリキュラムの工夫や教育法を検討している。久留利らは理学療法士の試験に関し臨床実習前から過去問題を解かせる重要性を指摘した1）。松林らは学生への指導として過去問題を「遂行させ」「発言させ」「確認させる」効果を述べた2）。臨床検査技師、看護師の分野でも同様の取り組みがある3）-5）。また対策を充実するため学生が自主的に学習できるツール6）も開発されている。一歩進んで科目の成績・実力試験と国家試験合格率との関係を探る研究もみられる。永井らは医師の試験でストレート卒業率が高いほど国家試験合格率が有意に高い結果を報告7）しており他の職種でも同様の報告が見られる8）-11）。しかし一般論として科目の成績が良ければ国家試験に合格しやすいことは直感的に認識できることである。さらに個別の学生対策のために合格・不合格を事前に評価する試みもある。志渡らは合格予想を統計的手法で実施することを試みた12）が、架空のデータを用いており、実際のデータで判定するには至らなかった。薬剤師の分野では清水らがサポートベクターマシーンと称する技術を用いて学生の模擬試験の結果から「合格判別回数」という指標から合否を判断することを試みている13）。
現場の教員は、国家試験対策の指導において、4年間の学業成績や学習姿勢などから学生の合否を予測することもあるが、学業成績や学習姿勢だけでは各学生の合否予測が困難な場合がある。そこで、われわれは国家試験対策模擬試験を活用し、学生の合否予測に合格確率の考えを導入することで学科全体の合格率を推定できるという仮説を立てた。年度の早い段階で合格率が推定できれば、その合格率の高低によって指導方針を早期に修正することができ、より良い教育成果が得られる可能性がある。本研究では、過去4年間の国家試験対策模擬試験の成績と国家試験合否結果を用いて、合格確率の考えを導入した国家試験合格率予測モデルの構築を目的とした。
1 対象としたデータ
ある医療系大学のA学科（入学定員40名）の4年間の模擬試験と国家資格試験の結果を活用した。本研究は新潟医療福祉大学倫理審査委員会の承認を得（18027-180724）、対象者の個人情報に細心の注意を払って実施した。対象者にはメールで同意の確認を行った。
2 確率モデルの構築
ある年度の模擬試験において特定の点数を取った学生の合格確率を算出した。具体的には、ある特定の点数以上を取った学生のうち国家試験不合格者数をA、その点数以下を取った学生のうち国家試験合格者数をBとしたとき B／（A+B）をその点数を取った学生の合格確率とした。例えばその模擬試験で55点以上取った学生のうち何人がその年の国家試験に不合格だったかを数え、次に55点以下でも合格だった学生の数を数えた。後者を両者の和で除してその点数の合格確率とした。このように合格確率を推定する方式を以後「確率モデル」と呼ぶ（図1）。他の時期の模擬試験からも類似した結果を得た。そこで本研究ではこの曲線を3本の直線で近似するものとし以下の4つの特徴点を直線で結ぶグラフで再現した（確率モデル）。すなわち1）得点がゼロで合格確率ゼロの点、2）合格者の最低得点（合格最低点）で合格確率30％の点、3）全員が合格した得点（合格安全点）で合格確率98％の点、4）満点の得点で合格確率100％の点である。これらの4点を結ぶ折れ線グラフの式をエクセル（Microsoft® Excel® 2016；以下エクセル）に組み込み、模擬試験の個人点数を入力するとその個人の合格確率が計算できるようにした。ただしここでは130点満点で60％以上の得点で合格することを想定している。
3 経時モデルの構築
次に上記の合格最低点と合格安全点の二つのパラメータが模擬試験の時期ごとにどのように変化するかを調べた結果、図2を得た。なお図2にはこの二つのパラメータの中間点（平均点）も表示している。ここで横軸の日数は前回の国家試験日からの日数である。この推移を参考にして経時変化を以下の式でモデル化した（図3
245日以前 合格最低点＝20点
269日以前 合格安全点＝65点
246日以後 合格最低点＝0.4120×（前回からの日数）－80.735
270日以後 合格安全点＝0.4375×（前回からの日数）－52.6875
この算出方法を以後「経時モデル」と呼ぶ。この式から得られた合格最低点と合格安全点を確率モデルに代入して確率モデルを完成させた。これにより例えば初期と終期の確率モデルは図4のようになった。中間の時期ではこの2曲線の中間の直線群で表現できた。
4 国家試験合格率予測モデルの構築
全学生の合格確率を合計し、学生数で除すことで学科全体の合格確率を求めた。これを各回の模擬試験に適用した。模擬試験における欠席者の欠損値は本人の直近の合格確率を代用した。各時期の予測値はその時点までの平均値を予測値として扱うことによって各回のばらつきを抑えた。これらの数式の自動計算をエクセルに組み込み国家試験合格率予測モデルを構築した。なおこのモデルは合格者の人数割合を予測するモデルなので厳密には「合格割合」と表現すべきと思われるが、通例にしたがってここでは「合格率」と呼ぶ。このモデルで合格率を予測し、その年の実際の合格率と比較した。予測された合格率を実際の合格率で除した値を的中率とし、的中率でモデルの信頼性を評価した。
作成した国家試験合格率予測モデルを4年間の模擬試験に適用し予測された各年度の不合格者数を実際の不合格者数と比較したのが図5である。各年度における国家試験2か月前の時点での的中率は0.86、1.00、0.99、1.13となった。年度Bにおいて1年前の時点での的中率を計算したところ0.95であった。
1 確率モデル
図1から読み取れるようにある時期の模擬試験で例えば70点を取った学生の80％が合格していた。逆にいうと同じ点数が取れていても20％の学生は不合格になったということである。当日の国家試験の合格・不合格は事前の模擬試験の点数だけでは判定できない。だからこそ確率的な考えが必要なのであり、今回の研究で確率が数値で表現できたことは意義があることと言える。当初は図1の合格率曲線を極力忠実に再現するために2）における合格確率を（30％ではなく）2％に設定した。その結果、合格確率は良く再現できるものの、集計して得られる不合格人数は 表1に示すように多めに推定されてしまった。この要因は合格確率の計算にあると思われた。受験者数が数千人の模擬試験であれば、同じ点数を取った学生のうち何％が合格したかは実データに基づいて容易に計算できる。しかし本研究のように受験者数が40名程度では同じ点数になる学生数は限られる。そこで本研究ではその点数以上を取った学生のうち実際の国家試験不合格者の数をAとし、その点数以下で合格した数をBとしたとき B／（A+B）をその点数を取った学生の合格確率としたものである。そこで合格確率を忠実に再現するよりも合格率の的中率を上げることに重点をおき30％に設定した。
2 経時モデル
図2の推移をみると、これらのパラメータは315日まではほとんど変化がなく、それ以降は急激に上昇していることがわかった。これは315日までは50点程度でも合格の可能性があるが、360日の時点では130点満点のうち70点は取っていないと合格の確率はないことを示している。これをモデル化したものが 図3であるが、必ずしも正確に再現したものではない。的中率向上を重点におきパラメータを修正した。
3 国家試験合格率予測モデルの運用
本モデルでは各模擬試験における欠席者の扱いには注意する必要があった。欠席者は往々にして低成績者であることが多く、それを欠損値として除外すると、実情が正しく反映されずに的中率が悪くなるからである。そこで欠席者の値は本人の直近の合格確率を代用した。本研究は、学科全体の合格率を推定することが目的だが、推定の過程で各学生の各時点における合格確率が推定できた。これにより各学生に直接確率を伝え、励ますことが可能となる。例えば合格確率が40％だったとすると「いまの時期にあなたと同じ点数の学生のうち10人に4人は合格していた」と伝えることができるし、逆に「10人のうち6人は不合格だった」と伝えることもできる。これは相手の学生の性格に応じて使い分けることができる。また、これはあくまで昨年と同じ対策をした場合の確率であって、今後の対策によっていくらでも確率は上昇できることを伝えることになる。副次的な効果の二つ目としては各学生に対して行った対策が効果的だったか否かの指導教員側の自己評価にも使用可能と考えられる。ある学生の模擬試験のデータから合格確率50％だったとして、指導後に受けた模擬試験のデータにより60％になっていた場合、指導効果は10％増となる。本研究で推定する個人の合格確率はその学生がいま国家試験を受けたらその確率で合格するという意味ではない。その学生が従来の学生と同じ努力、教員が従来と同じ指導をしたら、試験当日にその確率で合格するという数値である。したがって学生が努力をせず、教員も指導をしなければ合格確率は日を追うごとに低くなっていく。 また 図2を見ると変化が出るのは前回の国家試験から315日ごろ、すなわち試験の50日前からであった。この時期は、それまでの勉強の総合効果が出てくると同時に適度なプレシャーがかかる時期と考えられた。この時期を過ぎても点数が上昇しない学生を重点的に指導する必要性を本研究の結果から指摘できる。
本論文で取り扱ったデータは学科の業務の中で集積されたものなので、研究対象として統制のとれたものではない。毎年の模擬試験は必ずしも毎年同じ難易度ではない。毎年の指導方針もその時点で最適と思われる方針が採用される。国家試験の難易度も現実的には変わりうる。モデル化においてこれらは無視している。これは本研究の限界である。ここで示したパラメータの値も頻繁に更新の必要があると思われる。
本研究を実務に応用するにあたっては悪い合格確率を的中させないように早めに問題点を察知し、対策を練り、それを実行することが重要である。著者らが検索した限り、学科としての合格率に的を絞った研究は見当たらなかった。したがってここで得た的中率をもって他の研究より優れているかどうかは言及できない。研究としては的中率が高ければ良いのだが実務の運用としては的中率が高いかどうかよりも、予測を外して合格率が100％になることが目標になる。昨年と同じ努力であっては、これくらいの数値になってしまうという警告のための推定研究であることを強調したい。
各学生の国家試験合格確率、学科全体の合格率が1年前から推定できる方法を提案した。これによって昨年と同じ対策で良いのか、それとも対策を変更する必要があるのかを、具体的なデータに基づいて検討することが可能となる。今後は試験直前の予測が合格率100％となり、試験当日100％合格を達成する一助として、本研究で示された手法が活用されることが望まれる。
本研究は新潟医療福祉大学義肢装具自立支援学科の国家試験対策として頻回の模擬試験とその結果の整理された資料によってなし得たものであり、学科教員の長年にわたる努力・工夫に感謝の意を表する。
本論文に関する著者の利益相反なし
