2024 年 8 巻 論文ID: 2024-039
近年,実習科目の成績評価は,レポートによる評価に加えて,技能や態度も含めた多角的な評価方法が求められている.本学部の化学系実習では,2020年度より対面の実習講義を動画配信する遠隔授業に変更し,これを補うため事前の「オンライン確認テスト」および注意事項をまとめた「技能態度評価リスト」を2021年度に導入して両者を成績評価に取り入れた.この試みの有用性を検証すべく,「オンライン確認テスト」と「技能態度評価リスト」について受講生アンケートを実施しCS分析を行ったところ,両者は学生にとって学習の一助となっていることが示された.また,実習成績の各評価点と技能についての関連性を解析した結果,オンライン確認テストの得点が低い群は,他の群よりも有意にレポートの得点が低かったことから,事前のオンライン確認テストの有用性が示唆された.一方で,収量や課題の実施にかかった時間などの技能の結果には影響していないことが示された.
Student performance evaluations require a comprehensive strategy that addresses lab skills and learning attitudes, in addition to conventional knowledge testing with reports and written examinations. This study investigated student survey responses to “online confirmation tests” and “skill and attitude evaluation lists” in chemistry-related practical training, which were introduced after the COVID-19 pandemic. The correlation between the survey scores on the “online confirmation tests” and “skill and attitude evaluation lists” was studied to understand the usefulness and issues of distance education-based learning during student training. Results of a customer satisfaction (CS) analysis of the questionnaire revealed that “motivation for pre-class preparation” and “necessity of effective practical training” confirmed usefulness, and the “appropriateness of evaluation” was an item of improvement for online tests. For the evaluation lists, the “necessity of lists for effective practice” supported its usefulness, and the improvement items were “ability to perform self-reflection” and “fairness of evaluation.” These results indicated that both the online tests and the evaluation lists impacted student attitudes toward practical training in chemistry and should be continued in future student training.
基礎薬学系実習の成績評価において,従来汎用されていたレポートや筆記試験などの知識を問う方法に加えて,実験手技や,取り組み姿勢などの態度を含めた総合的な評価方法が求められている.しかしながら,基礎薬学系実習科目における総合的な評価方法についての工夫や提案に関する報告は限られている1,2).
一方,コロナ禍を経て,基礎薬学系実習科目の形態にも変化が生じつつある.例えば名城大学薬学部の化学系実習では,2019年度以前は実習の直前に対面での実習講義を行っていたが,2020年度以降は事前にオンデマンドで動画を配信する遠隔講義に変更した.これにより時間の制約がある中で直ちに実験に取りかかることができるようになった.ところが,遠隔実習講義の導入後,学生間で理解度の差が生じているように見受けられた.その理由として,実習直前の対面講義に比べ実験の注意事項を伝達してからの時間が空いてしまうこと,また講義動画の視聴は各学生に委ねられていることが考えられる.そこで,2021年度より,遠隔実習講義の理解度を確認するため事前の「オンライン確認テスト」を導入し,さらにこれまでは講義中に口頭で伝えていた注意事項をまとめた「技能態度評価リスト」を公表した.現在これらを実習の技能態度評価に利用している.
本研究では,これら「オンライン確認テスト」と「技能態度評価リスト」について,受講生へのアンケートの顧客満足度(Customer Satisfaction, CS)分析3) により,その有用性及び改善点を明らかにする.さらに,客観的な学習効果を測る指標として,本実習科目の成績の各評価点(「オンライン確認テスト」の得点,レポート点の得点)と技能についての関連性を解析し,「オンライン確認テスト」の有用性及び改善点を明らかとする.
名城大学薬学部では基礎薬学系実習科目として,2,3年次に化学・分析・生物・物理の4系列・16科目を配置している.そのうちの化学系実習では,まず実験器具の基本的な扱い方を習得し,さらに有機化合物を実際に取り扱うことで,講義科目で学んだ有機化学の知識,すなわち構造に基づく有機化合物の物理的・化学的性質の理解を深めることを教育目標としている.化学系実習は,化学系基礎実習(有機化学1/有機化学2),化学系応用実習(有機化学3/天然物化学・生薬)の2実習4科目からなり,今回対象とした化学系応用実習(天然物化学・生薬)は2年次後期科目である.各実習は1班2名のペアワークで実施しており,コロナ禍以前には2クラス(約120~140名)ごと6日間ずつの日程で,実習の直前に毎回40~80分程度の対面での実習講義を行っていたが,2020年度以降は実習内容の精査と遠隔による事前学習を取り入れることで効率化をはかり,1クラス(約60~70名)に対して3日間ずつの日程で実施している.2020年当初は「密」を避けることを目的に1クラスごと3日間ずつの実施としたが,結果として教員一人当たりの学生数(いわゆるS/T比)が下がり,よりきめ細やかな指導が可能となったことから,2024年現在もこの体制を継続して実施している.
今回の化学系応用実習(天然物化学・生薬)の実習内容は次のようである.1~2日目は生薬カイカからのルチンの抽出と再結晶による精製,ルチンの加水分解反応と生成物の確認を行う.ルチンの抽出については,カイカを粉砕して抽出する班と,カイカを粉砕しないで抽出する班の2群に分かれ,隣接する班でお互いに条件(粉砕の有無)の異なる実験結果を共有し,カイカの比表面積とルチンの抽出効率について考察する.このなかの技能に関する評価として,ルチンの再結晶の回収率(精製収量/粗収量),ルチンの加水分解反応の粗収率を得点化する.3日目は各班で組み合わせの異なる未知の粉末生薬について,官能試験とともに日本薬局方の確認試験を行い,同定を行う.このなかの技能に関する評価として,同定にかかった時間の短さを得点化する.
本実習科目の実施方法の概要を図1に示した.まず,学生は実習テキストを読んで予習を行った後,事前に配信されているオンデマンドの動画を視聴し,実験の原理や注意事項等を含んだ実習講義を遠隔で受講する.続いて,各クラスの実習日の2日前から配信される「オンライン確認テスト」(Supplementary materials S1)を実習当日までに解答し,実習講義動画の理解度を確認する.また学生は,事前配信される実験の注意事項を列記した「技能態度評価リスト」(Supplementary materials S2)に基づいて,実習中に技能態度が評価されることを説明されている.3日間の実習の終了後,学生は実験レポートを作成,提出する.
本実習の概要
本実習科目の成績は,「オンライン確認テスト」の正答率,教員による「技能態度評価リスト」に基づく評価点,レポート点で評価した(オンライン確認テスト(12点),技能(12点),実技・態度(36点),レポート(40点)).なお,オンライン確認テストの配点について,全3回(3日間)の各回の正答率を0~4点に換算し,合計点(12点)として算出している(Supplementary materials S3).また,「技能態度評価リスト」に基づく評価について,「技能態度評価リスト」(Supplementary materials S2)は細目で構成されているものの,Supplementary materials S3に示した評価表のように,主に5つの細目のうち80%以上の到達で最高点とする緩やかな5段階評価の総合点となっている.また,レポート評価はSupplementary materials S4を指標とし,体裁と表現,図表,データ処理,考察,課題の項目について評価をし,その総合点とした.
2. アンケートの対象と調査方法名城大学薬学部2年次科目である化学系応用実習(天然物化学・生薬)の令和4年度(2022年度)受講者260名のうち,同意の得られたものを対象とし,本実習科目の終了後に,オンラインで実施した.アンケートは全18問のうち,Q1~8はオンライン確認テストに関する項目,Q10~17は技能態度評価リストに関する項目とし,「5.とてもそう思う」,「4.そう思う」,「3.どちらとも言えない」,「2.そう思わない」,「1.全くそう思わない」の5段階の評定尺度からなる選択式とした(図2).
アンケート項目
アンケートの分析は,研究参加に同意し,すべての項目において回答に不備がなかったものについて自由記述以外の項目の単純集計を行った.顧客満足度(Customer Satisfaction, CS)分析は,アンケート調査によって得られた個別評価と総合評価の数値を用い,総合評価を高めるためにどの個別評価の項目を優先的に改善すべきかを分析する手法である.CS分析では,個別評価と総合評価の相関係数を算出し,総合評価に対する個別評価の影響度に基づいて改善する必要があるか否かを表す客観的な数値である改善度で解析する.改善度の数値の大きさから改善項目の優先順位を客観的に判別することができ,CS分析を行うと,単純統計で得られた満足度の低い項目が必ずしも改善の優先順位が高い結果とはならず,総合的に判断できる利点がある3).近年,CS分析は大学の授業評価にも活用されており4),さらに最近では,薬局および病院実務実習における改善項目の抽出5–13) や,授業設計の検討1,14) など,薬学教育に関する先行研究でも用いられている分析手法である.今回,オンライン確認テストについてはQ8(オンライン確認テスト導入の総合評価)を,技能態度評価リストについてはQ17(技能態度評価リストの導入の総合評価)を,それぞれ目的変数とし,Q1~7,Q10~16の各項目の評価を説明変数としてCS分析を行った.本研究のCS分析は,窪田ら9),高根ら11) 及び山本ら14) の方法を参考に行った.前述の5段階の評定尺度のうち,個別評価(Q1~7およびQ10~16)で「4.そう思う」又は「5.とてもそう思う」が選択された比率(2top比率)を「満足度」とした.それぞれの満足度と総合評価(Q8およびQ17)とのSpearmanの相関係数を「重要度」とし,さらに満足度と重要度をそれぞれ偏差値に変換した.CSグラフは,満足度の偏差値を縦軸,重要度の偏差値を横軸にとり,それぞれの偏差値50で境界線を引いた4象限のグラフとした.第1象限(右上)は満足度・重要度がともに高い「重要維持項目」,第2象限(左上)は満足度が高いが重要度は低い「現状維持項目」,第3象限(左下)は満足度・重要度がともに低い「改善検討項目」,第4象限(右下)は満足度が低いが重要度は高い「重点改善項目」とした.CSグラフにおいて,原点(50,50)から各プロットまでの「距離」及び,原点と右下最下点(80,20)を結んだ線(改善度基準線)と原点から各プロットを結んだ線との間の「角度」を求めた.さらに,求めた角度が大きく改善度基準線から離れているほどマイナスになるよう指数化した「修正指数」を以下の式を用いて算出し,つづいて「距離」と「修正指数」との積である「改善度」を算出した.
修正指数=(90-角度) / 90
改善度=距離 × 修正指数
改善度が大きい値の項目ほど,他に比べ優先的に改善が必要であることが示され,薬学教育に関する先行研究では,改善度5以上の項目は改善の必要性の高い重要な課題とされている14–18).
4. 成績の各評価点と実技(技能)についての関連性の解析匿名化を行った成績の各評価点(「オンライン確認テスト」の得点,レポート点の得点)と実技(技能)についての関連性を解析した.なお,「技能態度評価リスト」の得点は前述の通り,実際には5段階評価の総合点であるが,今回詳細に解析するにあたり,このうちの技能に関する評価(2日目:ルチンの再結晶の回収率,3日目:未知検体の同定にかかった時間)の素データを用いることとした.統計解析にはEZR19) (自治医科大学附属さいたま医療センター,埼玉)を用い,p < 0.05を有意差ありとした.「オンライン確認テスト」とレポートの得点および未知検体の同定にかかった時間の比較については,後述するように「オンライン確認テスト」の得点分布に偏りがあったため,階層化し分析した.3群以上の比較についてはKruskal-Wallis検定を行った後,post-hocの多重検定としてSteel-Dwass法を用いて評価した.ルチンの再結晶の項目については,カイカの粉砕の有無による収量への影響を考慮し,「ルチンの精製収量」を目的変数,「粉砕の有無」と「オンライン確認テスト」の得点を説明変数として重回帰分析を行った.
5. 倫理的配慮本研究は,名城大学薬学部倫理審査員会の承認を得て行った(承認番号:2022-12).アンケートの実施に際して,アンケートの目的,アンケートへの協力は自由意志であること,アンケートの提出により同意を得たものとするがいつでも研究への参加をとりやめることができること,不参加でも一切の不利益はないこと,実習の成績とは無関係であること,アンケートは記名制ではあるものの,匿名化を行うため成績等について個人の特定はされないこと,個人情報保護に十分配慮すること,アンケート結果は本研究の目的以外に使用しないことについて文書と口頭にて説明した.
受講者260名のうち,203名(78.1%)より回答が得られたものの,研究参加の同意が得られ,かつすべての項目において不備がなかったアンケートの有効回答数は186名(71.5%)であった.アンケートの単純集計結果を図3に示す.オンライン確認テストに関する質問(Q1~7)では,6項目で最頻項目が「5.とてもそう思う」となる高評価が得られた.特に予習への動機付け-テスト(Q1),学習意欲の向上-テスト(Q2),効果的な実習に必要-テスト(Q7)では,回答者の50%以上が選択肢5と回答した.さらにオンライン確認テスト導入の総合評価(Q8)に対しては,174名(93.5%)が選択肢4,5と回答し肯定的な評価であった.一方,技能態度評価リストに関する質問(Q10~16)では,5項目で最頻項目は「4.そう思う」であり,予習への動機付け-リスト(Q10)および学習意欲の向上-リスト(Q11)の2項目における「3.どちらとも言えない」の割合が,オンライン確認テストに関する同内容の質問(Q1およびQ2)と比較して,それぞれ9名(4.8%)から24名(12.9%),11名(5.9%)から25名(13.4%)へと増加した.一方,技能態度評価リスト導入の総合評価(Q17)に対しては,169名(90.9%)が選択肢4,5と回答し肯定的な評価が多数を占めた.
アンケートの単純集計結果
オンライン確認テストに関するCS分析グラフおよび改善度などの値を図4A,表1Aに,技能態度評価リストに関するCS分析グラフおよび改善度などの値を図4B,表1Bに示した.なお,Spearmanの相関係数のp値はすべてp < 0.001であった.オンライン確認テストのCS分析グラフにおいて,重要維持項目(第1象限)として,予習への動機付け-テスト(Q1),効果的な実習に必要-テスト(Q7)が抽出された(図4A).また,改善度指数が最も高い項目として重点改善項目(第4象限)に,評価の適正性(Q6)がプロットされた(表1A,図4A).技能態度評価リストのCS分析グラフでは,重要維持項目(第1象限)には,効果的な実習に必要-リスト(Q16)がプロットされ,学習目標の明確化(Q12)および注意事項の理解(Q13)は,現状維持項目(第2象限)中でも重要維持項目寄りであった.重点改善項目としては,自己省察可能(Q14)および評価の公平性(Q15)が抽出された(図4B).また改善度では,評価の適正性(Q6),自己省察可能(Q14),評価の公平性(Q15)がそれぞれ,7.39,6.24,5.15と上位を占めた(表1A,1B).
(A)オンライン確認テストの総合評価(Q8)に対するCS分析グラフ.(B)技能態度評価リストの総合評価(Q17)に対するCS分析グラフ.
(A)オンライン確認テストの総合評価(Q8)に対するCS分析パラメータ
質問 | 満足度 | 相関係数 | 満足度偏差値 | 相関係数偏差値 | 角度 | 修正指数 | 距離 | 改善度 |
---|---|---|---|---|---|---|---|---|
Q1 | 0.946 | 0.714 | 64.57 | 52.39 | 125.68 | –0.40 | 14.77 | –5.85 |
Q2 | 0.919 | 0.691 | 51.49 | 48.80 | 173.70 | –0.93 | 1.91 | –1.78 |
Q3 | 0.897 | 0.660 | 41.03 | 43.81 | 79.64 | 0.12 | 10.90 | 1.26 |
Q4 | 0.887 | 0.604 | 35.80 | 34.98 | 91.61 | –0.02 | 20.67 | –0.37 |
Q5 | 0.919 | 0.672 | 51.49 | 45.78 | 154.51 | –0.72 | 4.47 | –3.21 |
Q6 | 0.909 | 0.757 | 46.26 | 59.16 | 22.81 | 0.75 | 9.89 | 7.39 |
Q7 | 0.936 | 0.794 | 59.34 | 65.07 | 76.78 | 0.15 | 17.73 | 2.60 |
平均 | 0.916 | 0.699 | ||||||
S.D. | 0.021 | 0.063 |
(B)技能態度評価リストの総合評価(Q17)に対するCS分析パラメータ
質問 | 満足度 | 相関係数 | 満足度偏差値 | 相関係数偏差値 | 角度 | 修正指数 | 距離 | 改善度 |
---|---|---|---|---|---|---|---|---|
Q10 | 0.838 | 0.671 | 39.51 | 36.16 | 97.83 | –0.09 | 17.36 | –1.51 |
Q11 | 0.838 | 0.690 | 39.51 | 39.23 | 90.76 | –0.01 | 15.04 | –0.13 |
Q12 | 0.887 | 0.754 | 52.47 | 49.53 | 145.78 | –0.62 | 2.51 | –1.56 |
Q13 | 0.941 | 0.746 | 66.87 | 48.27 | 140.85 | –0.56 | 16.95 | –9.58 |
Q14 | 0.866 | 0.803 | 46.71 | 57.48 | 21.25 | 0.76 | 8.17 | 6.24 |
Q15 | 0.866 | 0.787 | 46.71 | 54.83 | 10.76 | 0.88 | 5.85 | 5.15 |
Q16 | 0.909 | 0.847 | 58.23 | 64.49 | 74.58 | 0.17 | 16.66 | 2.85 |
平均 | 0.878 | 0.757 | ||||||
S.D. | 0.037 | 0.062 |
「オンライン確認テスト」の客観的な学習効果を測るべく,匿名化を行った成績の各評価点および技能に関する評価の素データを用い,以下のように関連性を解析した.
1) オンライン確認テストとレポートの得点の関係オンライン確認テストの得点(12点満点)とレポートの得点(40点満点)の相関について,Spearmanの順位相関係数0.205,p値=0.005となり,その散布図はSupplementary materials S5のようになった.また,オンライン確認テストの得点分布をヒストグラムで示したところ(Supplementary materials S6),得点が特定の範囲に集中していることが確認できたため,この分布に基づき次の5つの群に分けた.各群(得点)の人数と構成比率は,A群(11点)が77名(41.4%),B群(10点)が62名(33.3%),C群(9点)が26名(14.0%),D群(8点)が11名(5.9%),E群(7点以下)が10名(5.4%)である.この群分けは,同点の学生を同じ群にまとめること,そして各群間の人数の偏りが少なくなるように設計した.これにより,得点のばらつきが少ない範囲での分析が可能となり,各群の特性をより詳細に分析できる.すなわち,オンライン確認テストの得点(12点満点)により5群(A~E群)に階層化し,それぞれの群におけるレポート点の得点(40点満点)について,Kruskal-Wallis検定を行ったところp値<0.001であった.Steel-Dwass法を用いて評価すると,テストの得点率が0.6よりも低いE群は,A~D群よりも有意にレポートの得点率が低いという結果が得られた(図5).なお,参考として,それぞれの群の平均,標準偏差,標準誤差,中央値,最大値,最小値および検定結果をSupplementary materials S7に示した.
オンライン確認テストの得点(12点満点)によって階層化した各群におけるレポート点(40点満点)の比較(確認テストの得点:A群=11,B群=10,C群=9,D群=8,E群≦7).箱は四分位範囲(IQR),×は平均値,ひげは,第三四分位数および第一四分位数から1.5 × IQR以内の最大値および最小値を示す.Steel-Dwass検定vs. E群 **:<0.01,***:<0.001
1~2日目のルチンの抽出と再結晶による精製に関する技能と,オンライン確認テストとの関連を解析すべく,まずカイカの粉砕の有無により2群(粉砕あり:93名,粉砕なし:93名)に分け,それぞれの群におけるルチンの粗収量,精製収量,再結晶の回収率(精製収量/粗収量)について,平均,標準偏差,標準誤差,中央値,最大値,最小値を求め,その比較をSupplementary materials S8に示した.本実習項目では,粉砕によりカイカの比表面積を上げることでルチンの抽出効率が上がり収量が増えることを実際に経験して理解することを目的としている.受講生は隣接する2班で1組となり,お互いに条件(粉砕の有無)の異なる実験結果を共有して考察を行う.ルチンの粗収量,精製収量は「粉砕あり」の群が「粉砕なし」の群よりも有意に大きな値を示しており,全体としては理論通りの結果が得られていることが確認できた.一方で,ルチンの再結晶の回収率(精製収量/粗収量)については両群に差はみられなかった.つづいて,ルチンの精製収量を目的変数とし,「粉砕の有無(基準群を「粉砕あり」とする)」と「オンライン確認テスト」の得点を説明変数として重回帰分析を行い,得られた結果を表2に示した.「粉砕の有無」のp値は<0.001,「オンライン確認テスト」のp値が0.023となり,共に有意差が認められた.ただし,決定係数:0.138および調整済み決定係数:0.129であった.
重回帰分析(目的変数:「精製収量(g)」,説明変数:「オンライン確認テストの得点」,「粉砕の有無」)
偏回帰係数 | 95%信頼区間下限 | 95%信頼区間上限 | 標準誤差 | t統計量 | p値 | |
---|---|---|---|---|---|---|
粉砕の有無a) | –0.756 | –1.056 | –0.455 | 0.152 | –4.964 | <0.001 |
確認テストの得点 | –0.132 | –0.245 | –0.019 | 0.057 | –2.297 | 0.023 |
切片 | 3.887 | 2.736 | 5.038 | 0.583 | 6.662 | <0.001 |
a)「粉砕有り」を基準群とした.
決定係数:0.138,調整済み決定係数:0.129
3日目の粉末生薬の同定に関する技能とオンライン確認テストとの関連を解析すべく,オンライン確認テストの得点により5群(A~E群)に階層化し,それぞれの群における同定にかかった時間について,Kruskal-Wallis検定を行ったところp値=0.243であった.なお,参考として,それぞれの群の平均,標準偏差,標準誤差,中央値,最大値,最小値および検定結果をSupplementary materials S9に示し,図6に図示した.
オンライン確認テストの得点(12点満点)によって階層化した各群における生薬同定時間(min.)の比較(確認テストの得点:A群=11,B群=10,C群=9,D群=8,E群≦7).箱は四分位範囲(IQR),×は平均値,ひげは,第三四分位数および第一四分位数から1.5 × IQR以内の最大値および最小値を示す.
アンケートの単純集計結果から,受講生は,オンライン確認テストおよび技能態度評価リストの評価方法および評価の導入に対して肯定的であった(図3).
それぞれの評価に対する満足度をCS分析により検討した.重要維持項目(第1象限)として,予習への動機付け-テスト(Q1),効果的な実習に必要-テスト(Q7),効果的な実習に必要-リスト(Q16)が抽出された(図4A,4B).事前のオンライン確認テストの導入により,遠隔授業の実習講義動画の理解度を確認することができ,さらに受講生に対して技能と態度の評価基準を明示したことで受講生自身の目標が明確化され,単なる作業ではなく実験操作の意味を考えて実習を行うことに繋がったと考えられる.さらに,重点改善項目(第4象限)として,評価の適正性(Q6),自己省察可能(Q14)および評価の公平性(Q15)が挙がり,学生が評価の適切さおよび自らの振り返りに関して改善が必要と考えている傾向が示唆された.確認テストの評価の適正性(Q6)に関しては,オンラインで行うため,解答期間(2日間)中に他人の解答を聞いてそのまま答えることが可能で,完全に公平とは言い切れないことが改善項目となったひとつの原因として考えられる.これはオンライン試験に関する報告20) における指摘と類似しており,遠隔による実施の現時点での限界ともいえる.また評価の公平性(Q15)についても,不正行為の可能性を配慮し,ペア間の公平性を担保する仕組みが完全でないと受け入れがたいと考える学生がいることが示唆され,本実習の実施方法の限界といえる.このような学生の要望と,多角的な評価を推進する教員側の狙いとの間には乖離があることが示唆された.自己省察可能(Q14)に関しては,技能態度評価リストの利用は実習内容の理解や目標の把握に有効であったものの,評価リストを自己評価に使用することで自らを振り返り学ぶ姿勢へとつなげることの重要性が十分に伝わっていなかったことが考えられる.自己省察能力は,薬学教育モデル・コア・カリキュラム(令和4年度改訂版)21) に挙げられている「プロフェッショナリズム」に通じる薬学生にとって必要な資質のひとつと考えられ,今後は,技能態度評価リストを公表している意図を改めて明確に学生に示しておく必要がある.
成績の各評価点と技能についての関連性の解析について,まずオンライン確認テストの得点とレポートの得点との相関については,テストの得点率が6割よりも低いE群(10名(5.4%)が該当)では,他の群よりも有意にレポート点が低かったことから(図5,Supplementary materials S7),事前のオンライン確認テストの有用性が示唆される.すなわち,遠隔実習講義をはじめとする事前学習が一助となり,オンライン確認テストで6割以上得点できた学生は,科学的な根拠に基づく論理的な考察を含んだレポートを作成する傾向があることが示唆され,今回の事前学習の導入による成果の一端が現れていることが推察される.実験レポートにおいて鍵となる考察の項目を充実させるには,実験にとりかかる前から予めどの操作がポイントとなるかに着目しておく事前学習が重要である.オンライン確認テストや技能態度評価リスト導入による十分な事前学習を行うことにより,予想される理論的な結果と実際に得られた実験結果との差について原因を考えることが可能となり,実験の成否に関わらず深度のある洞察を含んだレポートの作成につながったと示唆される.逆に,評価の低いレポートでは,化学反応の進行により観察される色調変化などの実験中の観察事項への具体的な言及や計算過程の欠落,客観性や論理性に欠ける記述が多く,オンライン確認テストの理解度をレポートにて表現できていないことが見受けられた.
一方,1~2日目のルチンの抽出に関する技能について,ルチンの粗収量,精製収量については「粉砕あり」の群が「粉砕なし」の群よりも有意に大きな値を示し全体として理論通りの結果が得られている一方で,ルチンの再結晶の回収率(精製収量/粗収量)については両群に差はみられなかった(Supplementary materials S8)ことから,再結晶操作の実験手技の面では両群にそれほど差がない可能性が考えられる.さらに,重回帰分析について,目的変数としたルチンの精製収量に対し,説明変数である「粉砕の有無」と「オンライン確認テスト」の両者に有意差が認められたものの,決定係数:0.138および調整済み決定係数:0.129であることを踏まえると,説明変数として設定した「粉砕の有無」と「オンライン確認テスト」ではルチンの精製収量を十分に説明できているとは言い難く,他に収量に影響を与える要因があると考えられる.実際の学生実験の状況を鑑みると,収量に影響を与える要因には,実験操作のミスによる化合物の損失などの偶発的な事柄も含めた複数の要因の影響が考えられる.また偏回帰係数について,基準群を「粉砕あり」とした「粉砕の有無」は–0.756となり,これは「粉砕あり」の群が「粉砕なし」の群よりも収量が少ないと解釈でき先の結果と合致する.一方で,「オンライン確認テスト」の偏回帰係数は–0.132であり,これはテストの点数が上がるごとに収量がわずかながら減ることを意味するが,やはり前述の調整済み決定係数の解釈より,複数の要因の影響が推察される.学生が事前学習で読み取る情報は教員が想定している内容とは乖離があることが考えられ,また偶発的な事項の影響も考え合わせると,事前のオンライン確認テストは実際の実験手技には影響しなかったと考えられる.実習講義動画における実験操作のポイントや理論的な背景を想起させるようオンライン確認テストを設計したものの,単発の実験結果であることや,またペアワークであることから,必ずしもテストの点数と収量は結びつかなかったことが示唆される.理想的な実験手技の評価方法としては,個人で試行錯誤し自主的に進める実験を行う機会を設定することが考えられ,今後は一人で実験する実習項目を部分的に設けて技能評価を行うことの検討が必要と考えられる.
また,3日目の粉末生薬の同定に関する技能については,オンライン確認テストの得点率が低い群ほど平均的な同定時間は延びる傾向がみられたが,その差は有意ではなかった(図6,Supplementary materials S8).これは,先にも触れたように,本実習は1班2名のペアワークで実施しているため個々人の実験手技を完全には反映できているとはいえないことや,各班で組み合わせの異なる未知の粉末生薬を扱うこと等が一因として考えられる.
今後考えられる検討事項としては,遠隔の実習講義に加えて,対面の実習講義による実験手技の補足を併せて行うことが挙げられる.遠隔実習講義の視聴は各学生に委ねられているものの,講義に集中しているか否かについては対面の実習講義でも同様であり,教員の目の届きやすい少人数での実習を効果的に行うには,コロナ禍を経て導入した事前学習は今後も必要と考えている.他の検討事項としては,ピア評価の活用が挙げられるが,同僚評価における評価者として学生が有用という報告22) がある一方で,学生間のピア評価が成績につながることに学生は抵抗があることも報告されている23) ため,慎重に検討していきたい.
本研究の成果のひとつとして,教員への即時フィードバックが可能であるオンライン確認テストを導入することにより,実習開始前までにレポート点が低いと予想される学生の抽出が可能であることを見出した.今後,オンライン確認テストにより抽出された学習に困難のある学生に対して,実験時の介入や,レポート作成の個別指導などの適切な補完教育を行うことで,学習方略の最適化につながることが考えられる.
以上の結果から,今回導入したオンライン確認テストおよび技能態度評価リストは,学生にとって事前学習の一助となっていることが示された.今後も両評価を組み合わせた評価を継続的に行い,新たに生じた問題点を解決しながら運用していくことが必要と考えている.また,成績の各評価点と実技(技能)についての関連性の解析の結果,オンライン確認テストの得点率は,レポートの得点率には反映されるが,実技(技能)の結果には影響していないことが示唆された.オンラインテストにおける限界が認められる一方で,遠隔による事前学習は,時間と場所の制約を緩和し,学生が実験実習に取り組みやすい環境をもたらしていることが推察される.遠隔による事前学習の利点を活かしつつ,部分的に対面での補足説明を行うなどの対応を行うことで,遠隔と対面を相互に補完しあえる環境を構築し,本科目が「薬剤師に求められる基本的な資質・能力」を醸成する機会を与える充実した基礎系実習科目となるように検討していきたい.今回の調査により見出した関連性を踏まえて今後,複数年で検証を行う予定である.
発表内容に関連し,開示すべき利益相反はない.
この論文のJ-STAGEオンラインジャーナル版にSupplementary materials(電子付録)を含んでいる.