物理系薬学実習におけるレポートルーブリックおよびピア評価導入の試み

抄録

基礎薬学系実習の評価において，これまで汎用されていた実習レポートの評価だけでなく，技能と態度も含めた総合的な評価が求められている．本研究では，物理系薬学実習の受講生に対してアンケートを実施し，レポートルーブリックおよびピア評価の導入に対する意識を調査した．アンケートのCS分析の結果，レポートルーブリックに対して，重要維持項目となったのは，「目標の明確化」と「課題の具体化」であった．一方，要改善項目は「学習意欲の向上」と「目標達成意欲」であった．ピア評価において，重要維持項目となったのは，「実習実施における必要性」，「学習意欲の向上」と「自身の実習態度への影響」となり，要改善項目は示されなかった．以上の結果から，基礎系実習科目において，レポートルーブリックは，受講生に対して目標の明確化および課題の具体化という点で影響を与え，ピア評価は，受講生自身の実習態度に影響することが示された．このため，両評価を組み合わせた評価を行うことが必要であることが示された．

Abstract

The evaluation of basic physical and analytical chemistry laboratory courses, included report writing and skills and attitude development. A questionnaire investigated attitudes toward the introduction of a report rubric and peer evaluation of pharmacy students. A customer satisfaction analysis of the questionnaire identified the strongest items “clarification of the goal” and “materialization of the task” in support of the report rubric. On the other hand, the items requiring attitude improvement were “improvement in motivation to learn” and “motivation to achieve the goal”. The questionnaire items in support of peer evaluations were “necessity for practice”, “improvement of learning motivation,” and “influence on one’s attitude toward practice”, and there were no items were identified for improvement. These results showed that the report rubric influenced students by clarifying the goal and making the task concrete, while peer evaluations influenced students’ attitudes toward basic pharmacy practice. Therefore, it is deemed necessary to combine both types of evaluations.

緒言

文部科学省による薬学教育モデル・コアカリキュラムが2013年度から導入され¹⁾，薬学部卒業時に必要とされる基本的な10の資質を前提とした教育が，各大学で設定したディプロマポリシーに基づいて実施されている²⁾．基礎薬学系の実習科目は，10の資質のうち，薬学生が「基礎的な科学力」と「研究能力」に関する修得した知識の応用だけでなく技能，態度も含めた基本的な能力を養うために実施されている．このため，基礎薬学系実習の評価において，これまで汎用されていた実習レポートの評価だけでなく，技能と態度も含めた総合的な評価が求められている．しかし，基礎薬学系の実習科目における評価の妥当性についての報告は限られているのが現状である^3–5)．

兵庫医療大学薬学部では，基礎系実習科目の1つである物理系薬学実習おいて，実習内容に関する知識およびデータ解析の理解度をレポートと実習試験で評価を行っていた．しかし，実習中の受講生の技能と態度の評価ができない点，レポート評価の可視化ができていない点に問題があった．そこで，2018年度より技能と態度，特に態度の評価を重視した共同実験者間でのピア評価を導入し，さらに，レポートで評価される項目を可視化するためのルーブリック評価を導入した．そこで本研究では，物理系薬学実習へのルーブリックおよびピア評価の導入に関する受講生へのアンケートの顧客満足度（Customer Satisfaction, CS）分析により，基礎系実習科目におけるレポートルーブリックとピア評価の有益性および改善点を明らかとすることを目的とする．

方法

1．物理系薬学実習の概要

物理系薬学実習は，2年次前期に物質の構造・物性・変化を定量的に取り扱うための基盤概念を学び，定量分析法の基本的技術を習得することを教育目標とした．実習テーマは，6テーマの実験実習（テーマ1～3，5～7）とコンピューターを使った実習（テーマ4）の全7テーマで構成した．実習スケジュールは，全受講者177名を出席番号順にABクラスとCDクラスに分け，前半でABクラスはテーマ1～3，CDクラスはテーマ5～7を実施した．テーマ4実施後の後半では，ABクラスがテーマ5～7，CDクラスがテーマ1～3を実施した．実習班は，各クラスを3つのグループに分け，さらに，テーマ1～3は 1班4名，テーマ5～7は1班3名，に分けて実習を行った．なお，テーマ4は，PCを使った情報処理演習室における1回の実習とし，受講者を2クラスに分けて実施した（図1）．

図1

物理系薬学実習の概要

2．科目の評価方法

本科目の成績は，理解度確認試験（45%），レポート（45%），ピア評価（10%）で評価した．理解度確認試験は，前半期間と後半期間の2回に分けて実験に関連する基本知識やデータ解析能力について確認した．ABクラス，CDクラスのそれぞれの試験で問題数と試験内容は同じとしたが，計算に用いる数値を変更して出題した．同一の内容レポートは，実験終了1週間後を提出期日として，文章の体裁と表現，図と表，データ処理，考察の記述，課題の記述の観点からなるルーブリックにより評価した結果を記入した上でレポートを返却した（図2A）．ピア評価は，（有）K-Creationが作成したピア評価システムにより前半3テーマ終了時（ピア評価A）と後半3テーマ（ピア評価B）終了時に2回実施した．評価の観点は，準備，実験操作，積極性，配慮，教育性とし，ルーブリックは作成せず10段階の評定尺度とし⁶⁾，結果のフィードバックは行わなかった（図2B）．なお，テーマ4に関しては，コンピューター上での個人演習で実施し，作成したレポートルーブリックとは異なる評価基準で評価を行ったため，本研究対象からは除外した．

図2

A）レポート評価ルーブリック，B）ピア評価の評価項目

3．受講後アンケート

本科目の終了後に，受講者全員にアンケート用紙を配布し，記入後に回収した．アンケートは全20問のうち，Q1～9はルーブリックに関する項目，Q11～19はピア評価に関する項目とし，「5．とてもそう思う」，「4．そう思う」，「3．どちらとも言えない」，「2．そう思わない」，「1．全くそう思わない」の5段階の評定尺度からなる選択式とした．さらに，ルーブリック（Q10）とピア評価（Q20）に対する自由記述欄を設けた（図3）．

図3

受講後アンケート用紙

4．アンケートの単純集計と群別比較

アンケートの分析には，研究参加に同意し，すべての項目において，回答に不備がなかったアンケートについて自由記述（Q10, 20）以外の項目の単純集計を行った（表1）．Q9およびQ19への回答を基に，受講生をレポートルーブリックとピア評価の継続に対して，共に賛成群（YY群），レポートルーブリックのみ賛成群（YN群），ピア評価のみ賛成群（NY群），共に反対群（NN群）の4群に分け，各群別のレポート，ピア評価，試験それぞれの平均得点率をJMP Pro® 14.2を用いて算出した．解析方法は，Steel-Dwass検定を用いて有意水準を0.05 とした．

表1 アンケート項目と単純集計結果

質問項目	項目ラベル	全くそう思わない←　→とてもそう思う
		1	2	3	4	5
Q1．ルーブリック評価があることで意欲を持つことができましたか？	学習意欲の向上	6	15	48	57	12
Q2．ルーブリック評価があることで高い目標を達成したいと思いましたか？	目標達成意欲	3	11	49	65	10
Q3．ルーブリック評価があることで目標が明確になりましたか？	目標の明確化	3	14	34	67	20
Q4．ルーブリック評価があることで課題が具体的になりましたか？	課題の具体化	1	10	37	73	17
Q5．ルーブリック評価があることでレポート作成の進め方がわかりましたか？	レポート作成方針の理解	3	14	44	61	16
Q6．ルーブリック評価があることで自己評価がしやすかったですか？	自己省察可能	1	19	43	64	11
Q7．ルーブリック評価があることで採点が公平になると思いましたか？	評価の公平性	4	11	52	59	12
Q8．ルーブリック評価の導入は良かったと思いますか？	ルーブリックへの総合評価	2	4	53	69	10
Q9．ルーブリック評価は今後も必要ですか？（1．はい　2．いいえ）	ルーブリックの継続是非	113	25	―	―	―
Q11．ピア評価を通して予習するきっかけになりましたか？	予習への動機付け	2	13	56	54	13
Q12．ピア評価は学習意欲を高めましたか？	学習意欲の向上	6	10	52	57	13
Q13．ピア評価はあなたの学習態度に良い影響を与えましたか？	自身の実習態度への影響	4	14	48	61	11
Q14．ピア評価は他のメンバーの学習態度に良い影響を与えましたか？	共同実験者の実習態度への影響	5	10	66	48	9
Q15．ピア評価の評価項目は適切でしたか？	評価項目の適正性	3	11	45	69	10
Q16．実習の効果的な実施にピア評価は必要だと思いますか？	実習の運用に必要	4	10	55	59	10
Q17．ピア評価の成績割合が10%であることは適切であると思いますか？	評価の割合	3	17	51	55	12
Q18．ピア評価の導入は良かったと思いますか？	ピア評価への総合評価	3	8	51	68	8
Q19．ピア評価は今後も必要ですか？（1．はい　2．いいえ）	ピア評価の継続是非	101	37	―	―	―

5．顧客満足度（Customer Satisfaction, CS）分析

顧客満足度（Customer Satisfaction, CS）分析は，ルーブリック（Q8），ピア評価（Q18）それぞれの総合評価を目的変数として，Q1～7，11～17の説明変数に相当する満足度各項目の平均値および平均値偏差値を算出した．次に，各項目と目的変数との相関係数および相関係数偏差値を算出した後，横軸に相関係数偏差値，縦軸に平均値偏差値とした散布図を作成した．散布図はそれぞれの設問項目の平均値偏差値が50の部分で境界線を引き4象限のグラフとした．散布図の第1象限，満足度が高く総合評価への影響度が大きい象限を「重要維持項目」と設定した．第2象限，満足度が高く総合評価への影響度が小さい範囲は「現状維持項目」と設定した．散布図の第3象限，満足度が低く総合評価への影響度が小さい範囲は「改善検討項目」と設定した．第4象限，満足度が低く総合評価への影響度が大きい範囲は「要改善項目」と設定した（図4）．改善順位は，CSポートフォリオを反時計回りに45度回転させたグラフにおいて，X軸からの角度の絶対値から算出した修正用係数と原点からの距離の積から算出した改善度より決定した⁷⁾．

図4

A）ルーブリック評価の総合満足度（Q8）に対するCS分析ポートフォリオ，B）ピア評価の総合満足度（Q18）に対するCS分析ポートフォリオ

6．倫理的配慮

本研究は，兵庫医療大学倫理審査員会の承認を得て行った（承認番号：18020号）．なお，アンケートは記名制ではあるが，匿名化を行うため成績等について個人の特定はされないこと，本研究への参加は自由意志でありアンケートに回答しない場合も不利益は生じないことを文書と口頭で説明し，書面にて同意を得た．

結果

1．アンケートの単純集計

アンケートの有効回答数は138名（78%）であった．アンケートの単純集計結果を表1に示す．ルーブリック評価に関する質問（Q1～8）では，すべての設問において最頻項目は「4．そう思う」であり，ルーブリックの導入に対して高評価が得られた．特に，目標の明確化（Q3），課題の具体化（Q4）では，回答者の60%以上が選択肢4，5と回答した．さらに，ルーブリックの継続是非（Q9）に対しては，113名（82%）が継続に賛成した．次に，ピア評価に関する質問（Q11～18）では，6項目で最頻項目は「4．そう思う」であったが，予習への動機付け（Q11）および共同実験者の学習態度への影響（Q14）の2項目は，最頻項目が「3．どちらとも言えない」であった．さらに，ピア評価の継続是非（Q19）に対しては，101名（73%）が継続に賛成した．

2．ルーブリック（Q9），ピア評価（Q19）の継続是非による群別分類と各成績との関係

YY群，YN群，NY群，NN群それぞれのレポート，ピア評価，試験それぞれの得点率を比較したところ，すべての評価指標において，各群間での得点率に有意な差はなかった（表2）．なお，試験の実施順が異なるABおよびCDクラス間における実習試験では，第1～3章の理解度確認試験において，前半受験組（ABクラス）と後半受験組（CDクラス）との間で有意な得点率の差が見られた（データ未記載）．

表2 ルーブリック（Q9），ピア評価（Q19）の継続是非クラスター分類と各成績の関係

	平均値［95%信頼区間］
	全体（n = 138）	YY群（n = 92）	YN群（n = 21）	NY群（n = 9）	NN群（n = 16）
Q9．ルーブリックの継続是非		Yes	Yes	No	No
Q19．ピア評価の継続是非		Yes	No	Yes	No
レポート得点率（%）a	80.69［79.74–81.64］	80.90［79.69–82.12］	82.06［79.67–84.46］	78.71［74.13–83.30］	78.86［76.14–81.56］
ピア評価得点率（%）b	83.01［81.73–84.29］	83.68［82.06–85.28］	83.32［79.87–86.79］	83.16［78.90–86.78］	78.89［74.39–83.39］
試験得点率（%）c	74.93［73.31–76.54］	75.17［73.72–77.14］	76.38［71.84–80.92］	69.94［65.90–73.94］	75.75［70.61–80.91］

^a Steel-Dwass検定，YY vs YN（p = 0.911），YY vs NY（p = 0.567），YY vs NN（p = 0.322），YN vs NY（p = 0.598），YN vs NN（p = 0.299），NY vs NN（p = 1.00）；

^b Steel-Dwass検定，YY vs YN（p = 0.999），YY vs NY（p = 0.967），YY vs NN（p = 0.902），YN vs NY（p = 0.833），YN vs NN（p = 0.445），NY vs NN（p = 0.598）；

^c Steel-Dwass検定，YY vs YN（p = 0.901），YY vs NY（p = 0.328），YY vs NN（p = 0.999），YN vs NY（p = 0.228），YN vs NN（p = 0.999），NY vs NN（p = 0.340）．

3．アンケートのCS分析

レポートルーブリックに関するCS分析ポートフォリオおよび改善度の算出に用いた各パラメータ値を図4A，表3，ピア評価に関するCS分析ポートフォリオおよび改善度の算出に用いた各パラメータ値を図4B，表4に示す．レポートルーブリックのCS分析ポートフォリオにおいて，重要維持項目（第1象限）には，目標の明確化（問3）がプロットされた．一方，要改善項目（第4象限）には，学習意欲の向上（問1）と目標達成意欲（Q2）がプロットされ，改善度から評価した改善順位の上位2項目も同項目であった（図4A，表3）．さらに，自己省察可能（Q6）と評価の公平性（問7）が，改善検討項目（第3象限）中でも要改善項目寄りにプロットされた（図4A）．ピア評価のCS分析ポートフォリオでは，要改善項目にプロットされた項目はなかったが，重要維持項目にプロットされた学習意欲の向上（Q12），自身の実習態度への影響（Q13），実習実施の運用に必要（Q16）が要改善項目に近い位置でプロットされ，改善順位1位であった（図4B，表4）．また，改善順位2位の項目は，改善検討項目（第3象限）にプロットされた共同実験者の実習態度への影響であった（表4）．

表3 ルーブリック評価の総合満足度（Q8）に対するCS分析パラメータ

質問	平均値	平均値偏差値	相関係数	相関係数偏差値	角度	距離	修正指数a	改善度b	改善順位
Q1	3.39	36.11	0.582	52.63	–79.24	14.14	0.620	8.76	2
Q2	3.49	46.36	0.648	65.74	–13.03	16.16	0.645	10.42	1
Q3	3.63	61.17	0.622	60.51	46.76	15.34	–0.019	–0.30	5
Q4	3.69	67.25	0.558	47.79	97.31	17.39	–0.581	–10.11	6
Q5	3.53	50.94	0.484	33.26	176.77	16.77	–1.460	–24.55	7
Q6	3.47	44.46	0.546	45.39	–129.73	7.20	0.058	0.42	4
Q7	3.46	43.70	0.541	44.67	–130.26	8.25	0.053	0.44	3
Q8	3.59	―	―	―	―	―		―	―

^a 図4AのCSポートフォリオを反時計回りに45度回転させたグラフにおける「90－（X軸からの角度の絶対値）／90」の値．

^b 修正係数と原点からの距離との積．

　

表4 ピア評価の総合満足度（Q18）に対するCS分析パラメータ

質問	平均値	平均値偏差値	相関係数	相関係数偏差値	角度	距離	修正指数a	改善度b	改善順位
Q11	3.46	54.13	0.516	39.34	158.78	11.43	–1.264	–14.45	6
Q12	3.44	51.38	0.667	56.82	11.42	6.96	0.373	2.59	3
Q13	3.44	51.38	0.660	56.00	12.95	6.15	0.356	2.19	4
Q14	3.33	30.69	0.565	45.08	–104.29	19.93	0.341	6.79	2
Q15	3.52	66.55	0.531	41.09	118.27	18.79	–0.814	–15.30	7
Q16	3.44	51.38	0.770	68.72	4.21	18.77	0.453	8.51	1
Q17	3.41	44.48	0.547	42.93	–142.02	8.96	–0.078	–0.69	5
Q18	3.51	―	―	―	―	―		―	―

^a 図4BのCSポートフォリオを反時計回りに45度回転させたグラフにおける「90－（X軸からの角度の絶対値）／90」の値．

^b 修正係数と原点からの距離との積．

考察

アンケートの単純集計結果から，受講生は，レポートルーブリックおよびピア評価の評価方法および評価の継続に対して肯定的であった（表1）．また，実習試験の実施順による成績への影響やピア評価の実習クラス間で評価の差がある点は考慮に入れないといけないが，両評価の継続是非を基にした4群において，レポート，実習試験，ピア評価すべての得点率で差はなく，各成績が評価に対する肯定感へと影響はしない可能性が示唆された（表2）．

それぞれの評価に対する満足度への影響をCS分析から検討した．レポートルーブリックについては，目標の明確化（Q3）と課題の具体化（Q4）が重要維持項目（第1象限）となった（図4A）．薬学部の生物系実習におけるルーブリック評価の導入における先行研究においても，ルーブリックの導入に肯定的であった受講生の自由記述で，目標の明確化が最も多かったと報告しており³⁾，本研究においても，受講生に対して成果物の評価基準を明示したことで，受講生自身の目標が明確化され，課題に対して記載すべき内容が具体化できたものと考えられる^8,9)．一方，CS分析の要改善項目（第4象限）には，学習意欲の向上（Q1）と目標達成意欲（Q2）が挙げられた（図4A）．本来，ルーブリックを提示された場合，具体的な目標が明確になることから，学習意欲の維持が可能になるとの報告があるが^4,9)，今回作成したルーブリックは，成果物のレポートの採点基準に終始したため，受講生の実習に対する内的動機づけに対する影響が少なかったためと考えられる．さらに，改善検討項目として，自己省察可能（Q6）と評価の公平性（Q7）が挙がり，受講生がルーブリックによる自らの振り返りと評価の公平性に関して改善が必要と考えている傾向が示唆された．ルーブリックは学修の評価基準を明示し評価を公平に行えるツールであると考えられているが¹⁰⁾，評価基準の記述に対する受講生の理解度に差がある点や評価尺度の段階の差と配点が適切であったかという公正性に関しては検討が必要であると考えている¹¹⁾．

実習におけるピア評価の導入に関しては，受講生の多数の反対があることを懸念していたが，73%の受講生がピア評価の継続に対して容認していた（Q19）．グループワークにおいてピア評価を総括的評価に用いた報告によれば，きめ細やかな説明と個別のフィードバックの徹底により，受講生がピア評価に対して積極的になるとある¹²⁾．本実習では，ピア評価の結果をフィードバックしていないが，受講生は1年次から複数の授業でピア評価を経験しているため¹³⁾，受講生がピア評価に対して許容できるようになっていたことが影響していると考えられる．ピア評価に対する受講生満足度の影響を見たCS分析からは，実習への必要性（Q16）が最も強く影響し，学習意欲（Q12）と自身の実習態度（Q13）にも影響があることが示唆され，評価をされるという意識が自身の学修態度の向上に影響した可能性があると考えられる（図4B，表4）¹⁴⁾．しかし，その一方で，総合満足度への影響は低いものの，共同実験者の実習態度に影響している（Q14）とは感じていない傾向が示されており，実習期間内で受講生は共同実験者の変化は感じられなかったものと考えられる（図4B）．

以上の結果から，基礎系実習科目において，レポートのルーブリック評価は，受講生に対して目標の明確化および課題の具体化という点で影響を与え，ピア評価は，受講生自身の実習態度に影響することが示された．今後も両評価を組み合わせた評価を継続的に行い，新たに生じた問題点を解決しながら運用していくことが必要と考えている¹⁵⁾．また，実習後に実習内容や結果への考察について，受講生間でグループ討議を行わせることが，実習での知識習得や実習での探索的・理論的思考の手助けになるとの報告もあることから⁵⁾，受講生が相互で振り返るなどの機会を作り，受講生のパフォーマンスが向上するような実習を実施する必要があると考えている．

謝辞

本論文の作成段階において，有益な助言を頂いた大森志保先生（兵庫医療大学薬学部）に深く感謝いたします．

発表内容に関連し，開示すべき利益相反はない．

文献

• 1)  薬学教育モデル・コアカリキュラム平成25年度改訂版［Internet］．薬学系人材養成の在り方に関する検討会；2015年2月（参照2018年1月29日）http://www.mext.go.jp/component/a_menu/education/detail/_icsFiles/afieldfile/2015/02/12/1355030_01.pdf
• 2)   安原  智久， 河野  武幸， 荻田  喜代一．ディプロマ・ポリシーに基づくパフォーマンス評価とルーブリック．ファルマシア．2015; 51: 143–148.
• 3)   守谷  知恵， 川上  賀代子， 坪井  誠二．学生実習におけるルーブリック評価導入の試みと学生の意識調査．就実大学薬学雑誌．2017; 4: 37–42.
• 4)   Kurio  W,  Koumoto  J,  Isshiki  N, et al. The development and effectiveness of the peer support (basic laboratory practice by senior students) program incorporating the “multi-layered style” education. Japanese Journal of Pharmaceutical Education. 2018; 2: 2017-018. doi: 10.24489/jjphe.2017-018.
• 5)   栗尾  和佐子， 木下  将吾， 小倉  力斗，他．「ピアサポート（先輩学生による実習支援）プログラム：1年次基礎 実験実習の支援」の実践―グループワークのファシリテーション導入による学修効果の検討―．薬学教育．2020; 4: 2020-032. doi: 10.24489/jjphe.2020-032.
• 6)   安原  智久， 小西  元美， 西田  貴博，他．チーム基盤型学習（Team-based Learning; TBL）とピア評価がもたらす実践型化学教育．薬学雑誌．2014; 134(2): 185–194.
• 7)   相良  英憲， 北村  佳久， 岡崎  宏美，他．実務実習モデル·コアカリキュラムの到達目標における学習成果評価分析法の検討．医療薬学．2008; 34(11): 1042–1050.
• 8)   田宮  憲．ルーブリックの意義とその導入・活用．高等教育開発センターフォーラム．2014; 1: 125–135.
• 9)   松野  純男， 八軒  浩子．「薬学統計学」講義におけるLearning Management System を用いた自己評価ルーブリックの有用性について．薬学教育．2018; 2: 2018-018. doi: 10.24489/jjphe.2018-018.
• 10)   星  裕， 越川  茂樹．大学教育においてルーブリックを自己評価に活用した影響と課題．教師学研究．2020; 23(1): 21–31.
• 11)   森  嘉久， 兵藤  博信， 小坂  圭二，他．初年次教育における物理学実験のレポート評価―ルーブリック評価を目指したチェックシートの活用―．岡山理科大学教育実践研究．2017; 1: 83–91.
• 12)   安原  智久， 栗尾  和佐子， 西川  智絵，他．Small group discussion（SGD）へのピア評価の導入と総括的評価としての妥当性．薬学雑誌．2012; 132(10): 1179–1188.
• 13)   紀平  知樹， 常見  幸．多職種連携教育の中の初年次教育．兵庫医療大学紀要．2017; 5(2): 45–53.
• 14)   諸根  美恵子， 佐藤  厚子， 大野  勲，他．ピア評価と自己評価によるプレゼンテーション能力の測定の試み．薬学雑誌．2016; 136(7): 1041–1049.
• 15)   大塚  みさ， 三田  薫， 白尾  美佳．自己省察を促すための自己評価ルーブリック導入の試み．実践女子大学短期大学部紀要．2018; 39: 1–21.