薬学教育
Online ISSN : 2433-4774
Print ISSN : 2432-4124
ISSN-L : 2433-4774
実践報告
下級学年成績を用いた重回帰分析による習熟度別講義のクラス判定とその評価
三浦 健安井 菜穂美篠塚 和正三木 知博野坂 和人
著者情報
ジャーナル フリー HTML

2020 年 4 巻 論文ID: 2019-027

詳細
抄録

習熟度別講義において,通常,クラス判定テストによりクラス判定を実施することが多い.しかしこの方法は1回の試験でクラスを判定するため,運用上の種々の問題が存在する.これの解消に向けて,下級学年成績を用いた重回帰分析によって成績推定モデルを構築し,このモデルに基づき学生の推定点数を求め,これに基づきクラス判定を行う重回帰判定法を導入し,その評価を行った.本法の導入前後での成績分布の変化を検討したところ,下位学生の成績が向上している傾向が見出され,導入に先立ち行ったシミュレーション結果と一貫性がみられた.本法の導入により運用上の問題も解消したと考えられ,習熟度別講義におけるクラス判定に本法が有用であることが示された.

Abstract

Students are evaluated on academic achievement for proficiency level-based classes with a single assessment test. However, these single tests are prone to some functional issues. For example, some students intentionally try to score less on it to be put in a lower proficiency level class despite their higher level abilities. This study introduced a multiple regression analysis to avoid such issues and assess academic achievement from the earlier years of study (first three years of pharmacy study). The method was applied to a basic pharmacology course and classified students into higher-proficiency or lower-proficiency classes based on their improvement in earlier years’ exams. Simulation analyses were carried out to check for efficacy before introducing this method into the course. The distribution analyses of the final exam scores revealed similarities to the simulation’s results, with an improvement in the lower-proficiency group’s exam scores. The results showed improvement in the proficiency groupings, which could be attributed to the more accurate assessment of academic achievement. Through this intervention, it became difficult to secure lower test scores intentionally. In summary, this method has shown improvement in the functional issues with the test scores of lower-proficiency groups, which is a likely consequence of enhanced assessment tests.

目的

少人数クラス編成による講義は,学生のモチベーションを改善し1) 成績を上昇させる2,3).しかしながら,これを達成するために1学年全体を全科目において少人数クラスに分けることは施設や人員などの制限要因により極めて困難である.武庫川女子大学薬学部薬学科(以下,本学科)では,薬学教育にとって基礎科学の深く広い修得が重要4) と認識し,2014年度より低学年基礎科目のうち特に重要な科目を部分的少人数クラス編成講義(以下,習熟度別講義)として開講している5).すなわち教育効果と実務的側面から,15~20名程度の少人数クラスを基盤とした低習熟度クラス(以下,Basicクラス)と通常講義型の高習熟度クラス(以下,Regularクラス)に分けて実施している.習熟度別講義「薬の作用II」(3年前期)では,薬理学の基礎となる自律神経系作用薬を中心とした末梢神経薬理学が扱われている.当該科目は,生理学などの基礎科目と他の薬理系科目の橋渡しとして位置づけられ,重要科目として習熟度別講義とされている.当初,この科目のクラス判定は,第1回講義日に実施するクラス判定試験の結果に基づいて実施した.一方,この判定法(以下,判定試験法)では,クラス判定試験によって講義日を1回消化すること,1回のテストの内容による判定の運・不運,判定試験に向けての勉強を行う学生と行わない学生の混在などが問題として挙げられていた.また,クラス判定試験において恣意的に成績を低くする学生の存在もあり,本来低習熟度クラスで受講すべき学生がはじき出されていることも想定された.これらの問題を解決するために,下級学年成績に基づいた重回帰分析による成績推定モデルの構築とこれによるクラス判定法(以下,重回帰判定法)を導入し,その評価を行った.

方法

1.研究に参加した学生

本研究は,武庫川女子大学・同短期大学部研究倫理委員会より承認を得て実施された(承認番号;2014年度,No. 15–59;2015年度,No. 15–33;2016年度,No. 15–78).2014~2016年度に開講された「薬の作用II」において再履修受講者と留年経験学生を除いた受講学生のうち,文書にて研究参加同意の意思を表明した学生を対象とした.すなわち,2014年度未再履修・留年未経験受講者172人中164人(同意率95.3%;Regularクラス103人,Basicクラス61人),2015年受講者191人中181人(同意率94.8%;Regularクラス122人,Basicクラス59人),2016年受講者185人中182人(同意率98.4%;Regularクラス134人,Basicクラス47人)を対象とした.

2.習熟度別講義の実施

全受講者約220人のうち,Regularクラスは約80人×2クラス,Basicクラスは約15人×4クラスのクラス編成として実施された.各習熟度別クラスは,同一の資料,同一の到達目標,同一の成績評価試験により実施された.Regularクラスは通例行なわれる伝統的な講義型として実施し,Basicクラスは以下の工夫を取り入れた講義が行われた:①毎講義冒頭に,前講義に関するミニテストを10分程度の多肢選択式問題として出題し,解答解説が行われた.この結果は成績判定には用いず各学生への形成的評価として実施された.②毎講義冒頭に前講義に関するノートを提出させ確認された.このノートは講義後に学生へ返却されるため,学生は講義後に復習としてノートを作成した.③Think Pair Shareなどのアクティブラーニングを導入し,双方向型講義として実施された.

3.統計解析

SPSS Statistics 20(IBM Inc., Chicago, IL, USA)を用いた.重回帰分析はステップワイズ法にて実施し,その他の統計解析も含めて有意水準を0.05とした.

結果

本研究は正規カリキュラム内の重要講義を対象とする性質上,教育実務上への悪影響を避けるよう慎重を期すために,2014年度より段階を経て行った(表1).以下,本科目以外の科目を匿名として記した.

表1 研究スキーム
開講年度 クラス判定の実施方法 研究段階
Step 1 2014年度 初回講義時にクラス判定テストを実施(判定試験法) 2014年度の成績データに基づいて成績推定モデルを構築
Step 2 2015年度 初回講義時にクラス判定テストを実施(判定試験法) 成績推定モデルに基づいたクラス判定法(重回帰判定法)を実施した時の成績変動をシミュレーションし,実際の運用(判定試験法)による結果と比較・検証
Step 3 2016年度 成績推定モデルに基づいたクラス判定を実施(重回帰判定法) 2015年度と2016年度の成績分布を比較し,シミュレーション結果と比較・検証

1.Step 1:2014年度成績を用いた成績推定モデルの構築と評価

本科目(3年前期)に至るまでに,専門科目は物理系7科目,化学系6科目,生物系8科目,薬理系1科目,薬剤系1科目,計23科目が存在した.2014年度に開講された本科目受講者のうち各習熟度クラスの研究対象学生の成績に関して,上記23科目を独立変数,本科目最終成績を従属変数として重回帰分析を行った.Regularクラスの自由度調整済みR2は0.665(表2),Basicクラスでは0.447であった.

表2 2014年度Regularクラス受講による成績推定モデル
開講時期 科目名 非標準化係数(±SEM) 標準化係数 t p トレランス VIF
2年後期 生物A 0.524(0.090) 0.476 5.82 0.000 0.491 2.04
2年後期 薬理A 0.413(0.106) 0.297 3.88 0.000 0.561 1.78
1年前期 化学A 0.244(0.098) 0.176 2.49 0.014 0.656 1.53
定数 –18.7(6.94) –2.70 0.008

自由度調整済みR2:0.665

予備的検討より,全体傾向としてRegularクラスを受講するよりもBasicクラスを受講することによって成績の向上が見込まれることが示されていた.そのため,重回帰判定法では“Regularクラスを受講後に成績下位になるであろう学生”をBasicクラスとしてクラス判定し底上げすることを志向した.すなわち,通常講義型のRegularクラスを基にした成績推定モデル(表2)を用いて,本科目で全員がRegularクラスを受講すると仮定した時下位になると推定される学生をBasicクラス受講と判定することとした.

Regularクラス受講による推定成績モデル(表2)の結果に基づいたRegularクラス受講者の推定成績と,2014年度本科目最終実成績を比較したところ(図1),Pearsonの相関分析においてp < 0.0001,r = 0.8217と高い相関性が得られ,本モデルが成績推定のモデルとして妥当であり他年度のクラス判定に適用可能と判断された.

図1

2014年度Regularクラス受講者による成績推定モデルの評価.平均点はともに,69.7であった.

2.Step 2:2015年度成績を用いたシミュレーション

2015年度は2014年度成績に基づいた判定試験法にてクラス判定を実施した(表1).この時,重回帰判定法(表2)を導入するとどのような成績の変化が起こるのかを推測するために,シミュレーションを行った.以下にその手順について概説する.2015年度受講者を対象として仮想的に表2のモデルに基づいて成績を推定し,実際のBasicクラス(59人)と同数になるように推定成績の下位から仮想Basicクラスとする仮想的習熟度クラス判定を実施した.次に,2015年度受講者の成績を基にした各習熟度クラスの成績推定モデルを構築し(表3表4),実際に実施した判定試験法と仮想的に実施した重回帰判定法で異なるクラス判定がなされた学生を対象に,もう一つの習熟度クラスを受講した場合にどのような成績になるのかを推定した.

表3 2015年度 Regularクラス受講による成績推定モデル
開講時期 科目名 非標準化係数(±SEM) 標準化係数 t p トレランス VIF
2年後期 生物A 0.462(0.079) 0.417 5.87 0.000 0.626 1.60
2年前期 生物B 0.300(0.068) 0.301 4.39 0.000 0.669 1.49
2年後期 薬理A 0.309(0.100) 0.233 3.08 0.003 0.549 1.82
定数 –6.28(6.31) –0.997 0.321

自由度調整済みR2:0.618

表4 2015年度Basicクラス受講による成績推定モデル
開講時期 科目名 非標準化係数(±SEM) 標準化係数 t p トレランス VIF
2年前期 化学B 0.670(0.197) 0.362 3.41 0.001 0.756 1.32
2年前期 生物C 0.332(0.119) 0.310 2.80 0.007 0.696 1.44
1年後期 物理A 0.353(0.155) 0.246 2.27 0.027 0.732 1.37
定数 –29.7(14.5) –2.06 0.044

自由度調整済みR2:0.505

1)判定試験法と重回帰判定法によるクラス判定において相違がある学生の抽出

はじめに判定試験の実成績と重回帰判定法(表2)による推定成績を比較した(図2A).第二象限(29人),第四象限(29人)において判定試験法と重回帰判定法での判定の差がでる学生が見出された.すなわち,第二象限の学生は,重回帰判定法ではRegularクラスに判定されるが判定試験法ではBasicクラスに判定され実際にはBasicクラスにて受講した学生であり,第四象限の学生は,重回帰判定法ではBasicクラスに判定されるが判定試験法ではRegularクラスに判定され実際にはRegularクラスにて受講した学生である.その最終実成績について,第二象限の学生は第三象限(30人)の学生に比べ高く(第二象限79.5 ± 11.9;第三象限63.8 ± 16.5;t-test,p < 0.0001;Ave ± SD),第四象限の学生は第一象限(93人)の学生に比べて低かった(第一象限77.5 ± 15.1;第四象限59.7 ± 11.6;t-test,p < 0.0001;Ave ± SD)(図2B).つまり,判定試験法にてRegularと判定された学生のうち重回帰判定法にてBasicクラスと判定された学生(第4象限)は最終実成績が低く,本来的にはBasicクラスにて受講したほうが良いと考えられ,第二象限もその逆が言えると推測された.

図2

2015年度における2つの判定法のクラス判定に関する相違.(A)判定試験法と重回帰判定法でのクラス判定の関係性.図中に便宜上定義した各象限を◯数字として記載した.判定試験法により判定された各習熟度クラスを「実Regular」「実Basic」とし,重回帰判定法により仮想的に判定されたものを「仮想Regular」「仮想Basic」と記載した.重回帰判定法の成績推定モデルに基づいた成績(縦軸)の平均値は71.1点だった.重回帰判定法によるクラス判定の際,RegularクラスとBasicクラスの人数が判定試験法によるクラス判定と同一になるように行い,その境界値は63.6点であった.一方,判定試験の平均値は42.4点,境界値は32.5点であった.(B)最終実成績と判定試験の相関および重回帰判定法によるクラス判定の関係性.Pearsonの相関分析において,r = 0.271,p = 0.0002で有意な正の相関が得られた.2015年度全受講者の最終実成績の平均は72.7点,2015年度全受講者の判定試験の平均は42.4点であった.

2)成績推移シミュレーションによる2つのクラス判定法の比較

次に2015年度の本科目各習熟度クラスにおける受講生の下級学年成績を基にした重回帰分析を基に値をあてはめた(表3表4).すなわち,第二象限の学生に対して表3を,第四象限の学生に対して表4を基に成績推定した.クラスを交換したときのシミュレーション結果を図3および図4に示した.第二象限の学生はRegularクラスを受講することにより10点ほど低下し,第四象限の学生はBasicクラスを受講することにより10点ほど上昇すると推定された(図3).さらに学年全体の成績を俯瞰するために重回帰判定法で判定した場合の推定成績と最終実成績を各席次群において比較した(図4).すなわち,席次を6群に分け上位より第I群……第VI群とし,各群において平均の差の検定を行った.その結果,重回帰判定法を導入することにより下位にて成績が有意に上昇することが推定された.以上より成績分布に関して,重回帰判定法を導入することで,下位学生の成績上昇が見込めることが示唆された.

図3

2015年度2つの判定法でクラス判定が異なる学生の成績シミュレーション.(A)第2象限(図2A)の学生における最終実成績と重回帰判定法による推定成績の比較.Basicクラス受講時の最終実成績は平均79.5点であり,これらの学生がRegularクラスを受講すると平均69.5点へ低下すると推定された(Paired t-test, p = 0.0007).(B)第4象限(図2A)の学生における最終実成績と重回帰判定法による推定成績の比較.Regularクラス受講時の最終実成績は平均59.7点であり,これらの学生がBasicクラスを受講すると平均69.1点へ上昇すると推定された(Paired t-test, p = 0.0011).

図4

2015年度 各席次群における最終実点数と重回帰予測法による推定最終点数の差.各席次群においてPaired t-test後,αを0.05としてHolm法により多重比較した.図中に各席次群のPaired t-testにおけるp値を記載し,そのうちHolm法にて有意な差とされたものには,図中に*を加えた.n.s., no significant difference.

3.Step 3:2016年度における重回帰判定法の導入

2016年度,判定試験法を実施せず重回帰判定法のみでクラス判定(表2)を実施した際,2015年度成績と比較して下位群の成績上昇が見られるのかを,第VI群において比較検討した.なお,重回帰判定法による判定の際,前年度(2015年度)ではなく2014年度の成績推定モデル(表2)を用いた.これは,2014年度成績推定モデルを用いた場合と2015年度成績推定モデル(表3)を用いた場合とではクラス判定に差があった学生が多少いたものの,成績推定モデルの説明力を考慮に入れると許容範囲内であったことと,継続的な運営を考えた時に毎年成績推定モデルを構築する教育実務上の手間を省略することを念頭に置いたためである.重回帰判定法の運用として,成績推定モデルを数年おきに見直し,クラス判定や最終実成績などの比較・分析から妥当性を継続的に検証し続けている.

2015年度と2016年度の成績分布について,それぞれのAVE ± SDが72.7 ± 16.2,63.1 ± 21.9と,いずれもAVE ± 1SDが0または100に到達せず,天井効果と床効果が見られなかった.また,2015年度と2016年度の成績分布はいずれもKolmogorov-Smirnov正規性検定にて仮説が棄却されたので(2015年,p = 0.200;2016年,p = 0.950)正規分布していると解釈し,各学生成績を偏差値へ変換し比較した.

偏差値において両群(AVE ± SD,人数)は,2015年度(34.3 ± 4.86, N = 31)と2016年度(35.5 ± 3.49, N = 31)であり,平均の差は統計的に有意ではないものの(Student’s t-test, p = 0.150),2016年度成績の方が高い傾向にあった(図5).また,重回帰判定法の導入による成績全体の分布の変化(図5)として,JカーブもしくはUカーブをとる傾向がシミュレーション(図4)と類似していた.以上より,重回帰判定法によるクラス判定の結果,シミュレーションによって推定されていたように下位群において成績が底上げされていた傾向が見られた.

図5

2015年度と2016年度の各席次群における平均偏差値の差.各席次群においてStudent’s t-test後,αを0.05としてHolm法により多重比較した.図中に各席次群のStudent’s t-testにおけるp値を記載し,そのうちHolm法にて有意な差とされたものには,図中に*を加えた.n.s., no significant difference.

考察

習熟度別講義における判定試験法は,1回の試験によりクラス判定を行うことによる諸々の問題があった.本研究では,これの解消に向けて重回帰判定法を導入し,その評価を行った.成績変動に関して,重回帰判定法の導入によりクラス判定試験を実施することなく下位層の学生の成績上昇傾向が見られたため,重回帰判定法は低成績学生の底上げに有効なクラス判定法であると考えられた.

しかしながら,2016年度に見られた下位層の学生の成績上昇傾向は重回帰判定法を導入する前に実施されたシミュレーションほど大きな効果は見られなかった.これは,シミュレーションに用いたモデル(表3表4)で取り扱った要素以外の影響によるものと考えられた.例えばその一つとして,学生と各習熟度クラスの相性が挙げられる.著者らは別の習熟度別講義のRegularクラスとBasicクラスにおいて,学生の性格因子が成績の伸びに与える影響がそれぞれ異なることを見出している.これは,各学生において習熟度クラスに対して相性が存在することを示唆している.このような要素や個々の学生の当該科目以外の再履修単位数の多少による本科目の勉強時間への影響などの要素がシミュレーションによる過大評価に影響を与えたのかもしれない.

著者らが重回帰判定法を導入した動機の一つが,クラス判定試験において恣意的に成績を低くする学生の存在であった.これに関連して,恣意的か否かは不明だが,2015年度において2つの判定法で大きな乖離がある学生が見出された.図2Aにおいて,第2象限で高得点を得ている学生らは判定試験において低い成績であったためBasicクラスとして判定された.一方,重回帰判定法においては上位陣に位置するためRegularクラスとして判定された.これらの学生は最終実成績においても最上位層に位置していた.下級学年成績を総合的に判断する重回帰判定法は,このような学生に対して適切なクラス判定を行うことができると考えられた.

また,成績推定モデルの構築に際して,それぞれの習熟度クラスの下級学年講義との関連性に差が見られた.つまり,それぞれの習熟度クラスの成績に基づいた成績推定モデルに関して,2014,2015年共にBasicクラスはRegularクラスに対して説明力が低いモデルを得た(2014年,Regular,0.665,Basic,0.447;2015年,Regular,0.618,Basic,0.505).これはBasicクラスの最終実点数の下級学年成績に対する依存性が,Regularクラスに比べて低いことを示している.つまり,下級学年講義受講時の内容理解が当該講義の講義内容の理解に与える影響に関して,BasicクラスではRegularクラスと比べて相対的に制限要因になっていないことを示唆するものである.Basicクラスでは2-2に記した方略により自主的に下級の関連科目を復習する様子が窺われており,これがそれぞれの習熟度クラスの下級学年講義との関連性の強弱差を生み出しているのかもしれない.このように,重回帰判定法のような成績推定モデルを構築するアプローチでは,そのモデルを解釈することで当該科目の下級学年講義との関連性などを評価することに対しても有用であることが示唆される.

重回帰判定法は,各種統計解析ソフトウェアにて比較的簡便に行うことができる.また,運用面においても第1項(目的)に記載した問題点が大幅に改善されたものと考えられる.すなわち,重回帰判定法では講義日を消化せず,複数科目の成績に基づいた判定であるため試験問題の内容に基づいた運・不運が比較的少なく,判定試験に向けた勉強を行う学生と行わない学生の差も見られない.また,本科目のために下級学年科目で恣意的に成績を低くする学生もいないと推察される.下級学年成績以外にもピア評価や各種アンケートから観察される学生の特性などを盛り込むことにより,補習対象者や留年に対して危険性のある学生を抽出するなど応用範囲が広い手法として期待される.

発表内容に関連し,開示すべき利益相反はない.

文献
 
© 2020 日本薬学教育学会
feedback
Top