2025 Volume 9 Article ID: e09003
近年，実習科目の成績評価は，レポートによる評価に加えて，技能等も含めた総合的な評価方法が求められている．本学部の化学系実習では，2019年度以前の対面の実習講義から，2020年度以降はオンデマンドで動画配信する遠隔授業へ変更し，さらに2021年度より遠隔授業を補うため「オンライン確認テスト」および「技能態度評価リスト」を導入して両者を成績評価に取り入れた．また2023年度には直前に対面講義による実験手技の補足を併せて行った．これらの試みの効果について検討すべく，2022年度受講生および2023年度受講生の成績の各評価点や実験手技について解析を行ったところ，ルチンの粗収量については，2022年度受講生の方が良い結果が得られたが，精製収量および再結晶の回収率については2023年度受講生の方が有意に高い結果が示された．今後も遠隔と対面の両者を組み合わせた講義を継続的に行い，新たに生じた問題点を解決しながら運用していくことが適切と考えられる．
There were changes in the format of chemistry-related laboratory courses at Meijo University’s Faculty of Pharmacy from face-to-face lectures in 2019 to distance learning with on-demand video distribution in 2020. From 2021, online summary tests and skill and attitude evaluation lists were included to supplement distance learning. Additionally, face-to-face lectures were reintroduced to support experimental techniques in 2023. A program analysis examined the experimental methods of students in 2022 and 2023 and the effects of these initiatives at various evaluation points, revealing several differences between the two years. While the 2022 students achieved higher results in crude rutin yield, the 2023 students performed smoothly in recrystallization. It was considered appropriate to continue delivering remote and face-to-face lectures while addressing any new issues that may develop throughout the program.
基礎薬学系実習の成績評価は，従来からの実験レポートによるものだけではなく，実験手技や取り組み姿勢を含めた総合的な評価方法が求められているものの，そのような報告例は限られている1–4)．また，新型コロナウイルス感染症（coronavirus disease 2019: COVID-19）の感染拡大を契機に，大学の授業形態に大きな変化が生じ4–9)，実習科目もその影響を受けて変わりつつある．名城大学薬学部の化学系実習では，従前は実習の直前に毎回40～80分程度の対面での実習講義を行っていたが，2020年度以降は事前にオンデマンドで動画配信する遠隔授業へ変更し，さらに2021年度より事前の「オンライン確認テスト」を導入するとともに注意事項をまとめた「技能態度評価リスト」を公表した．これらの試みについて2022年度受講生のアンケート結果および成績の解析を行ったところ1)，オンライン確認テストの得点率が低い群は，他の群よりも有意にレポートの得点率が低かったことから，事前のオンライン確認テストの有用性が示唆されたが，収量や課題の実施にかかった時間などの実技（技能）の結果には影響していないことが示された．すなわち，遠隔実習講義およびそれを補う試みについて限界が認められる一方で，学生が実験実習に取り組みやすい環境をもたらしていることが推察された．そこで2023年度の当該科目では，遠隔と対面を相互に補完すべく，2022年度と同様の遠隔による事前学習に加えて，実習の直前に対面での実習講義による実験手技の補足を行った．本稿では，2023年度受講生の成績の各評価点と実技（技能）についての関連性を2022年度受講生の結果と比較しながら解析し，今後の課題について検討する．
今回対象とした「化学系応用実習（天然物化学・生薬）」は名城大学薬学部2年次後期科目であり，1クラス（約60～70名）に対して3日間ずつ行われ，1班2名のペアワークで実施している．実習内容は次のようである．1～2日目は生薬カイカからのルチンの抽出と再結晶による精製，ルチンの加水分解反応と生成物の確認を行う．ルチンの抽出については，カイカを粉砕して抽出する班と，カイカを粉砕しないで抽出する班の2群に分かれ，隣接する班でお互いに条件（粉砕の有無）の異なる実験結果を共有し，カイカの比表面積とルチンの抽出効率について考察する．このなかの技能に関する評価として，ルチンの再結晶の回収率（精製収量／粗収量），ルチンの加水分解反応の粗収率を得点化する．3日目は各班で組み合わせの異なる未知の粉末生薬について，官能試験とともに日本薬局方の確認試験を行い，同定を行う．このなかの技能に関する評価として，同定にかかった時間の短さを得点化する．
2023年度の本実習科目の実施方法の概要を図1に示した．まず，学生は実習テキストを読んで予習を行った後，事前に配信されているオンデマンドの動画を視聴し，実験の原理や注意事項等を含んだ実習講義を遠隔で受講する．続いて，各クラスの実習日の2日前から配信される「オンライン確認テスト」（Supplementary materials S1）を実習当日までに解答し，実習講義動画の理解度を確認する．また学生は，事前配信される実験の注意事項を列記した「技能態度評価リスト」（Supplementary materials S2）に基づいて，実習中に技能態度が評価されることを説明されている．2022年度はこれらの事前学習のみで当日の対面講義は行わず直ぐに実験に取りかかっていたのに対し，2023年度は事前学習に加えて対面講義による実験手技の補足を毎回20～40分程度行った．3日間の実習の終了後，学生は実験レポートを作成，提出する．
本実習の概要
本実習科目の成績は，2022年度と同様に，「オンライン確認テスト」の正答率，教員による「技能態度評価リスト」に基づく評価点，レポート点で評価した（オンライン確認テスト（12点），技能（12点），実技・態度（36点），レポート（40点））．なお，オンライン確認テストの配点について，全3回（3日間）の各回の正答率を0～4点に換算し，合計点（12点）として算出している（Supplementary materials S3）．また，「技能態度評価リスト」に基づく評価について，「技能態度評価リスト」（Supplementary materials S2）は細目で構成されているものの，Supplementary materials S3に示した評価表のように，主に5つの細目のうち4つ以上（80%以上）が該当した場合を最高点とする緩やかな5段階評価の総合点となっている．また，レポートはSupplementary materials S4を指標とし，体裁と表現，図表，データ処理，考察，課題の項目について評価した．なお，2022年度と2023年度のルチンの収量等を比較するにあたって，両年度ともに「日本薬局方外生薬規格（薬価基準収載品）カイカ（株式会社 栃本天海堂，製造番号021623001）」を用いており，生薬の品質は同等である．
2． 2023年度受講生についての解析本研究は，名城大学薬学部2年次科目である「化学系応用実習（天然物化学・生薬）」の令和5年度（2023年度）受講者268名のうち，同意の得られたものを対象とした．受講生アンケート（Supplementary materials S5）は，本実習科目の終了後に授業とは切り離し，オンラインで実施した．先の報告1) と同様に，アンケートは全18問のうち，Q1～8はオンライン確認テストに関する項目，Q10～17は技能態度評価リストに関する項目で，5段階の評定尺度からなる選択式とし，オンライン確認テストに関する総合評価（Q8）および技能態度評価リストに関する総合評価（Q17）をそれぞれ目的変数，対応するその他の各項目Q1～7およびQ10～16の評価を説明変数として，先の報告と同様に1,10–20) 顧客満足度（Customer Satisfaction: CS）分析を行った．
匿名化を行った成績の各評価点（「オンライン確認テスト」の得点，レポート点の得点）と実技（技能）についての関連性を解析した．なお，「技能態度評価リスト」の得点は前述の通り，実際には5段階評価の総合点であるが，今回詳細に解析するにあたり，このうちの技能に関する評価（2日目：ルチンの再結晶の回収率，3日目：未知検体の同定にかかった時間）の素データを用いることとした．統計解析にはEZR21) （自治医科大学附属さいたま医療センター，埼玉）を用い，p値 < 0.05を有意差ありとした．「オンライン確認テスト」とレポートの得点および未知検体の同定にかかった時間の比較については，後述するように「オンライン確認テスト」の得点分布に偏りがあったため，階層化し分析した．3群以上の比較についてはKruskal-Wallis検定を行った後，post-hocの多重検定としてSteel-Dwass法を用いて評価した．ルチンの再結晶の項目については，カイカの粉砕の有無による収量への影響を考慮し，「ルチンの精製収量」を目的変数，「粉砕の有無」と「オンライン確認テスト」の得点を説明変数として重回帰分析を行った．
3． 2022年度受講生と2023年度受講生の技能の結果の比較実習講義をすべて遠隔で行った2022年度受講生と，対面での実習講義により実験手技の補足を行った2023年度受講生の技能の結果（ルチンの粗収量，精製収量，再結晶の回収率）について，Mann-WhitneyのU検定を行った．統計解析にはEZR21) を用い，p値 < 0.05を有意差ありとした．
4． 倫理的配慮本研究は，名城大学薬学部倫理審査員会の承認を得て行った（承認番号：2022-12）．アンケートの実施に際して，アンケートの目的，アンケートへの協力は自由意志であること，アンケートの提出により同意を得たものとするがいつでも研究への参加をとりやめることができること，不参加でも一切の不利益はないこと，実習の成績とは無関係であること，アンケートは記名制ではあるものの，匿名化を行うため成績等について個人の特定はされないこと，個人情報保護に十分配慮すること，アンケート結果は本研究の目的以外に使用しないことについて文書と口頭にて説明した．
受講者268名のうち，研究参加の同意が得られ，かつすべての項目において不備がなかったアンケートの有効回答数は192名（71.6%）であった．2023年度受講生のオンライン確認テストに関するCS分析グラフをSupplementary materials S6（A）に，技能態度評価リストに関するCS分析グラフをSupplementary materials S6（B）に，比較として前回報告した2022年度受講生の同様の分析結果1) をSupplementary materials S6（C），（D）に示し，これらの改善度などの値についてはSupplementary materials S7（A）～（D）に示した．なお，Spearmanの相関係数のp値はすべてp値 < 0.001であった．2022年度と2023年度のCS分析を概観すると，いずれも重要維持項目（第1象限）に，「効果的な実習に必要―テスト」（Q7）および「効果的な実習に必要―リスト」（Q16）が抽出された．オンライン確認テストのCS分析グラフにおいて，「学習意欲の向上―テスト」（Q2）のプロット位置が2022年度は現状維持項目（第2象限）であったのに対し，2023年度には重点改善項目（第4象限）と大きく異なっており，改善度についても，2022年度受講生については–1.78と負の値を示し改善の優先度は低かったのに対し，2023年度受講生については，薬学教育の先行研究22–25) にて改善の必要性の高い重要な課題とされている改善度5以上となる12.95であった．村上ら26–28) は授業アンケートデータを用い，学生の非合理的特徴や学習習慣に応じて複数の群に分けてCS分析を実施し，それぞれの群の優先的改善項目を明らかにしている．そこで今回，各科目の総合得点率の上位群と下位群との2群に分けCS分析を行い比較分析することとした．本実習科目の成績の総合得点率の平均点と中央値を参照し，同点の学生を同じ群にまとめてほぼ半数ずつの2群となるように上位群と下位群とに分け（Supplementary materials S8），CS分析を行った．2023年度の成績上位群のCS分析グラフをSupplementary materials S9（A），（B）に，成績下位群のCS分析グラフをSupplementary materials S9（C），（D）に示し，これらの改善度などの値についてはSupplementary materials S10（A）～（D）に示した．先に触れた「学習意欲の向上―テスト」（Q2）のプロット位置について，成績上位群では重点改善項目（第4象限）中でも第1象限寄りであり，改善度が7.83であったのに対し，成績下位群では重点改善項目（第4象限）に抽出され，改善度も11.86であった．また，「自身の実習態度への影響」（Q3）については，2022年度は改善検討項目（第3象限）であったのに対し，2023年度は重要維持項目（第1象限）にプロットされた．
2． 2023年度受講生の成績の各評価点と実技（技能）についての関連性の解析 1） オンライン確認テストとレポートの得点の関係オンライン確認テストの得点（12点満点）とレポートの得点（40点満点）の相関について，Spearmanの順位相関係数0.328，p値 < 0.001となり，その散布図はSupplementary materials S11のようになった．また，オンライン確認テストの得点分布をヒストグラムで示したところ（Supplementary materials S12），得点が特定の範囲に集中していることが確認できたため，この分布に基づき次の5つの群に分けた．各群（得点）の人数と構成比率は，A群（11点）が84名（43.8%），B群（10点）が42名（20.8%），C群（9点）が32名（16.7%），D群（8点）が13名（6.8%），E群（7点以下）が21名（10.9%）である．この群分けは，同点の学生を同じ群にまとめること，そして各群間の人数の偏りが少なくなるように設計した．これにより，得点のばらつきが少ない範囲での分析が可能となり，各群の特性をより詳細に分析できる．すなわち，オンライン確認テストの得点（12点満点）により5群（A～E群）に階層化し，それぞれの群におけるレポート点の得点（40点満点）について，Kruskal-Wallis検定を行ったところp値 < 0.001であった．Steel-Dwass法を用いて評価すると，テストの得点率が0.6よりも低いE群は，A～C群よりも有意にレポートの得点率が低いという結果が得られた（図2，Supplementary materials S13）．これは，2022年度受講生と同様の傾向であり1)，2023年度受講生においても再現性があったことが明らかとなった．
オンライン確認テストの得点（12点満点）によって階層化した各群におけるレポート点（40点満点）の比較．（確認テストの得点：A群＝11，B群＝10，C群＝9，D群＝8，E群 ≦ 7）．箱は四分位範囲（IQR），×は平均値，ひげは，第三四分位数および第一四分位数から1.5 × IQR以内の最大値および最小値を示す．Steel-Dwass検定vs. E群 *：<0.05，**：<0.01，***：<0.001
1～2日目のルチンの抽出と再結晶による精製に関する実技（技能）について，まずカイカの粉砕の有無により2群（粉砕あり：96名，粉砕なし：96名）に分け，それぞれの群におけるルチンの粗収量，精製収量，再結晶の回収率（精製収量／粗収量）について，要約統計量をSupplementary materials S14に示した．2023年度受講生の「粉砕あり」の群と「粉砕なし」の群の比較において，ルチンの粗収量，精製収量および再結晶の回収率についてMann-WhitneyのU検定を行ったところ，それぞれp値＝0.007，0.025および0.172であった（Supplementary materials S15～S17）．2022年度1) と同様に，ルチンの粗収量，精製収量は「粉砕あり」の群が「粉砕なし」の群よりも有意に大きな値を示しており，全体としては理論通りの結果が得られていることが確認できた．一方で，ルチンの再結晶の回収率（精製収量／粗収量）については両群に有意差はみられなかった．つづいて，ルチンの精製収量を目的変数とし，「粉砕の有無（基準群を「粉砕あり」とする）」と「オンライン確認テスト」の得点を説明変数として重回帰分析を行い，得られた結果を表1に示した．「粉砕の有無」のp値が0.013と有意差は認められたものの，「オンライン確認テスト」のp値は0.733であった．また，決定係数：0.033および調整済み決定係数：0.022と低値であった．
重回帰分析（目的変数：「精製収量（g）」，説明変数：「オンライン確認テストの得点」，「粉砕の有無」）
| 偏回帰係数 | 95%信頼区間 下限 |
95%信頼区間 上限 |
標準誤差 | t統計量 | p値 | |
|---|---|---|---|---|---|---|
| 粉砕の有無a) | –0.493 | –0.883 | –0.104 | 0.198 | –2.497 | 0.013 |
| 確認テストの得点 | –0.0203 | –0.138 | 0.097 | 0.059 | –0.341 | 0.733 |
| 切片 | 3.615 | 2.446 | 4.783 | 0.593 | 6.101 | <0.001 |
a）「粉砕有り」を基準群とした．
決定係数：0.033，調整済み決定係数：0.022
3日目の粉末生薬の同定に関する技能とオンライン確認テストとの関連を解析すべく，オンライン確認テストの得点により5群（A～E群）に階層化し，それぞれの群における同定にかかった時間について，Kruskal-Wallis検定を行ったところp値＝0.790であった（図3，Supplementary materials S18）．
オンライン確認テストの得点（12点満点）によって階層化した各群における生薬同定時間（min.）の比較．（確認テストの得点：A群＝11，B群＝10，C群＝9，D群＝8，E群 ≦ 7）．箱は四分位範囲（IQR），×は平均値，ひげは，第三四分位数および第一四分位数から1.5 × IQR以内の最大値および最小値を示す．
2022年度受講生と2023年度受講生のルチンの粗収量についてMann-WhitneyのU検定を行ったところ，粉砕ありについてはp値 < 0.001，粉砕なしについてはp値＝0.014であった（図4）．同様に，ルチンの精製収量および再結晶の回収率について，それぞれMann-WhitneyのU検定を行ったところ，粉砕あり，粉砕なしのいずれにおいてもp値 < 0.001となり，2023年度受講生の収量および回収率は高く，その差は有意であった（図5，6）．最後に，2022年度受講生と2023年度受講生の生薬の同定時間についてMann-WhitneyのU検定を行ったところ，p値 < 0.001となり，2022年度よりも同定に時間を要する傾向があった（図7）．
2022年度と2023年度のルチン粗収量（粉砕あり・粉砕なし）の比較．箱は四分位範囲（IQR），×は平均値，ひげは，第三四分位数および第一四分位数から1.5 × IQR以内の最大値および最小値を示す．Mann-WhitneyのU検定 *：<0.05，***：<0.001
2022年度と2023年度のルチン精製収量（粉砕あり・粉砕なし）の比較．箱は四分位範囲（IQR），×は平均値，ひげは，第三四分位数および第一四分位数から1.5 × IQR以内の最大値および最小値を示す．Mann-WhitneyのU検定 ***：<0.001
2022年度と2023年度のルチン再結晶の回収率（粉砕あり・粉砕なし）の比較．箱は四分位範囲（IQR），×は平均値，ひげは，第三四分位数および第一四分位数から1.5 × IQR以内の最大値および最小値を示す．Mann-WhitneyのU検定 ***：<0.001
2022年度と2023年度の生薬同定時間（min.）の比較．箱は四分位範囲（IQR），×は平均値，ひげは，第三四分位数および第一四分位数から1.5 × IQR以内の最大値および最小値を示す．
2022年度と2023年度のいずれも重要維持項目（第1象限）に，「効果的な実習に必要―テスト」（Q7）および「効果的な実習に必要―リスト」（Q16）が抽出されたことから，オンライン確認テストと技能態度評価リストはともに，遠隔による事前学習を補助する役割をある程度担うことができていると考えられる．また，「学習意欲の向上―テスト」（Q2）のプロット位置について，両年度で大きく異なっていたことは入学年度による受講生の気質の違いや環境の違い（コロナ禍における遠隔授業に慣れているか否か等）に依る可能性も考えられたが，他の要因の可能性も考えられる．すなわち，2023年度上位群と下位群を比較すると，下位群において改善度が高く課題となった項目は，「学習意欲の向上―テスト」（Q2）であった．これは，2022年度受講生や，2023年度受講生の中でも上位群では，遠隔授業がそれほど苦とならない学生が多く，逆に下位群では遠隔の事前学習が負担となっていたことが推察される．コロナ禍で受けた大学生活における影響は入学年度によって異なることが指摘されており29)，本調査においても，コロナ禍が収束しない中で入学した2022年度受講生は，遠隔授業の経験が多く，自主的に事前学習の時間を取ることに慣れている傾向であるのに対し，コロナ禍が収束しつつある中で入学した2023年度受講生の中でも下位群では，計画的に事前学習に取りかかるのが難しかったことが考えられる．また，両年度における「自身の実習態度への影響」（Q3）の変化について，2022年度ではオンライン確認テストの存在に影響されることなく自主的に実習に取り組むことができた傾向がみられたのに対し，2023年度ではオンライン確認テストの存在が動機付けのひとつとなって実習に真摯に取り組むことができた可能性が推察される．
2． 2023年度受講生の成績の各評価点と実技（技能）についての関連性の解析オンライン確認テストと，レポートの得点および粉末生薬の同定時間との関係については，2022年度に引き続き2023年度においても同様の傾向がみられた．すなわち，レポートの得点については，オンライン確認テストの得点率が0.6よりも低いE群では，A～C群よりもレポートの得点が低かったことから，改めて事前のオンライン確認テストの有用性が示唆された．一方で，生薬の同定時間については，各班で組み合わせの異なる未知の粉末生薬を扱うことや，成績に関係なくランダムに振り分けられたペアで実施していることが影響したため，オンライン確認テストの得点が低い群ほど平均的な同定時間は延びる傾向はみられなかったと考えられる．また，ルチンの粗収量・精製収量・再結晶の回収率についても，2022年度と同様の傾向がみられた．すなわち，ルチンの粗収量，精製収量については「粉砕あり」の群が「粉砕なし」の群よりも有意に大きな値を示し全体として理論通りの結果が得られている一方で，ルチンの再結晶の回収率（精製収量／粗収量）については両群に有意差はみられなかったことから，再結晶操作の実験手技の面では両群にそれほど差がない可能性が考えられる．さらに，重回帰分析について，目的変数としたルチンの精製収量に対し，説明変数である「粉砕の有無」に有意差が認められたものの，「オンライン確認テスト」には有意差は認められなかった．決定係数：0.033および調整済み決定係数：0.022と低値であることを踏まえると，説明変数の選択が適切でない可能性も考えられ，単発の実験結果であることやペアワークであることから，必ずしもテストの点数と収量は結びつかなかったことが示唆される．
3． 2022年度受講生と2023年度受講生の技能の結果の比較1～2日目のルチンの抽出に関する実技（技能）について，まず粗収量では，粉砕の有無にかかわらず2023年度の結果が有意に低くなったことから，2023年度はカイカの粉砕が不十分であったか，もしくはろ過の際に目詰まりを起こしてしまったことが示唆される．すなわち，カイカを過度に粉砕すると熱水抽出後のガーゼを用いたろ過の操作において微粉末が詰まってしまう不具合が起こるため，適度に粉砕することが重要であるが，この塩梅が適切に伝わらなかったと考えられる．一方で，2023年度における精製収量と回収率の大幅な改善は，再結晶操作の実験手技の向上を示しており，これは対面の実習講義により再結晶操作における留意点が学生へと強く伝わり一定の効果があったためと考えられる．また，ルチンの粗収量，精製収量および再結晶の回収率のいずれにおいても，2022年度では外れ値が3点以上存在するのに対し，2023年度では粗収量についての外れ値が1点のみと安定した結果が得られている．2022年度に複数みられる，第三四分位数から1.5 × IQR以上の外れ値については，乾燥の操作が不十分のために水分を含み見かけ上の収量が上がっていることが考えられ，2023年度ではこの外れ値が減っていることから，直前の対面の注意喚起による効果があったと推察される．
また，3日目の粉末生薬の同定に関する実技（技能）については，2022年度よりも同定に時間を要する傾向があったことから，対面にて直前に注意事項を確認することで慎重に実験に取り組んだ可能性が考えられる．
以上のように，複数年度で検証した結果，オンライン確認テストの得点は，レポートの得点には反映される一方で，実技（技能）の結果には影響していないことが改めて確認された．オンライン確認テストやレポートによる評価は，教授された内容が身に付いたかを測定する量的評価であるのに対し，実技（技能）による評価は「パフォーマンス評価」であり質的評価に分類される30)．本報告においてオンライン確認テスト／レポートと実技（技能）とでは異なる能力を評価しており，量的評価と質的評価の相関はあまりない傾向がみられた．また，遠隔による事前学習に加えて対面での実験手技の補足を行ったことについて，部分的ではあったものの一定の効果があったことが示唆された．実習の教育効果をより向上させるためには，遠隔と対面を相互に補完しあえる環境を構築することが重要であることが示唆され，今回の調査により見出した関連性を踏まえて今後も検証を行い，技能を評価するための方略についても改めて検討していく予定である．
発表内容に関連し，開示すべき利益相反はない．
この論文のJ-STAGEオンラインジャーナル版に電子付録（Supplementary materials）を含んでいる．
