誌上シンポジウム：事前学習・実務実習のアウトカムを測る
薬局実務実習におけるルーブリックを用いたパフォーマンス評価
2018 年 2 巻 論文ID: 2018-001
詳細
2018 年 2 巻 論文ID: 2018-001
学習成果基盤型教育に基づいた改訂薬学教育モデル・コアカリキュラムの下で行われる実務実習では，学習者のパフォーマンスを評価する必要がある．しかし学習者のパフォーマンスの測定は，薬学教育全体が経験不足である．本研究では，服薬指導におけるパフォーマンス評価を試行するため，滋賀県薬剤師会と連携し，Rubricを用いて実務実習の場で評価を行った．服薬指導のパフォーマンスの測定を，実習4週目，8週目，11週目に行ったところ，6つの観点の全てにおいて実習が経過するに従い測定値の上昇が見られた．また，評価を行った薬剤師にRubricに関するアンケートを実施したところ，「印象」「適切性」「わかりやすさ」「能力の評価」「客観性」などの項目で従来用いてきた評定尺度よりもRubricに肯定的な意見が多く見られた．「評価者の負担」はRubricと評定尺度がほぼ変わらない結果が得られた．
学習成果基盤型教育の考え1–3) に基づいて作成された改訂薬学教育モデル・コアカリキュラム（改訂コアカリ）4) の下で行われる2019年度からの薬学実務実習では，パフォーマンスに基づく評価，学習者の行為・遂行能力等を直接評価していく事が求められる5)．つまり，実際に患者・生活者を対象として学習者に薬剤師としての職能を発揮させ，どの程度の「質」でできるのかということを評価する必要があり，教育の考え方が行動主義から構成主義に変わりつつある6) 現れでもある．既に学習者のパフォーマンスを評価するための取り組みが，チーム医療教育7)，フィジカルアセスメント8)，卒業研究9)，実務実習の総合的な評価10)，薬物治療学11)，基礎教育12)，統合型教育13)，初年次教育14)，ポートフォーリオ15)などで実践され報告されているが，薬学教育全体が，学習者の行為・遂行能力を測定・価値判断することに対して，圧倒的な経験不足であることは否めない．更には，薬学実務実習の評価の観点についての例示が公表16) されたが，実務実習という実践の環境の中で学習者のパフォーマンスを評価する試みは報告されておらず，薬剤師養成に携わる者の間主観性に基づく評価基準は確立していないといえる．このような状況において，摂南大学では，学習者がみせるパフォーマンスの評価を研究の対象とし，学習者の行為・遂行能力を評価する試み17–20) を重ねている．その一環として，今回，薬局実務実習における服薬指導に関するパフォーマンスを評価に取り組むため，臨床の場で活躍する薬剤師を交えて評価基準と成り得るRubric21,22) を作成し，滋賀県薬剤師会と連携して評価を実施し，結果の検討を行った．
服薬指導に関するパフォーマンス評価用Rubricの作成は，大学の教員2名，薬局薬剤師1名，病院薬剤師1名（薬剤師は2名とも指導薬剤師）で協議を行い，「処方箋からの情報の読み取りと推測」，「カルテ・薬歴からの情報の読み取りと患者状態の把握」，「投薬と情報の伝達」，「患者・家族の理解度の確認」，「患者・家族に接する態度と雰囲気」，「投薬・服薬指導の記録」の6つの観点から構成されたRubricを作成した（図1）．Rubricの作成にあたり，「1」の目安を「OSCEで行ったことを実臨床の場で実施する」，「4」の目安を「現在，全ての薬剤師が実践できているわけではないが，一部の薬剤師によって達成され今後の薬剤師のあり方として目標となりうるパフォーマンス」と位置づけた．2016年度に滋賀県で薬局実務実習を行なった近畿地区の139名の学生を対象として，作成した服薬指導に対するRubricを用いた測定を，実習4週目，8週目，11週目に行うこととした．滋賀県薬剤師会にて，実習学生に対して無作為に学生IDを割振り，摂南大学に対しては学生IDのみを伝えることとしたため，摂南大学には，薬剤師の氏名や勤務先等個人を特定する情報，Rubric評価を受けた実習生の氏名や所属大学等個人を特定する情報は送付されていない．評価実施方法は，滋賀県薬剤師会を介して実務実習受け入れ薬局の指導薬剤師にRubricを配布し，研究の趣旨に同意した薬剤師のみが任意に滋賀県薬剤師会に評価結果を返送することとした．また，評価を実施した薬剤師に対して，11週間の実習終了後に滋賀県薬剤師会を介してアンケート（図2）を配布し，研究の趣旨に同意した薬剤師のみが任意に滋賀県薬剤師会にアンケートを返送することとした．滋賀県薬剤師会により，Rubric評価の結果と指導薬剤師のアンケート回答を連結させ，匿名化した後に摂南大学にデータを送付した．本研究は，摂南大学の人を対象とする研究倫理審査委員会による承認を得て行った．更に本研究は，薬学教育協議会病院・薬局実務実習近畿地区調整機構にて関連する全ての大学の承認を得て行った．結果の統計学的解析には，JMP®Pro 12（SAS Institute Inc., Cary, NC, USA）を用いた．
実務実習 投薬・服薬指導評価用Rubric
薬局実習でのRubric評価に関するアンケート
薬剤師によるRubric評価結果を表1に示した．Rubric評価の回収数は，4週目が76名（57%），8週目が88名（63%），11週目が85名（61%）であった．未回収の理由に関しては追跡していない．順位変数であるRubricの結果を平均値で議論することは必ずしも適切ではないが，視覚的に理解しやすいため，観点ごとの4週目，8週目，11週目の平均±標準偏差を算出し，図3にてレーダーグラフで表した．すべての観点において，4週目から8週目，8週目から11週目へと評価が向上した．すべての観点についてχ二乗検定を行ったところp < 0.0001であった．概ねすべての観点において，4週目ではRubric評価が，「4」の実習生はおらず若干名の「3」がいる一方で，「OSCEで行ったことが実臨床の場で実施できる」と位置づけて作成した「1」に満たない「0」の実習生も散見された．実習終了後である11週目の結果では，少数ではあるが各観点で「4」の評価を受ける実習生が現れている．最終的には最頻値は「3」となり，また「0」の実習生はいなかった．実習生が全体として実習期間を通して成長していることを示すために，各評価を行った週の実習生ごとのRubricの平均値のグラフを図4に示した．
;%0A%09%09%09newWindow.document.open();%0A%09%09%09newWindow.document.write('<img src=%22./Graphics/2_2018-001_5.jpg%22>');%0A%09%09%09newWindow.document.close();%0A%09%09) |
Rubricによる評価結果（平均値）
実習生ごとのRubric平均値
各実習期が終わるごとに指導薬剤師を対象に行ったアンケートの結果を表2に示した．本アンケートは各期の実習終了後に薬剤師ごとにアンケートを配布したため，同一実習期で複数の実習生を受けている場合でも薬剤師の回答は1名分となる．一方で，異なる実習期で複数回の実習を受けている場合，同一の薬剤師から複数の回答を得ている．Rubricに対する薬剤師の印象は，実際にRubricを用いて評価をすることによって変化すると考えられる．したがって，どのような学生の実習を担当したかによって回答が変わると思われ，実習期ごとにアンケートを取ることに解析上，大きな問題はないと考えた．アンケート対象となる薬剤師数はのべ115人となった．回収数は81人（70%）であった．今回のRubric評価の実施にあたって，評価基準の学生との事前共有や評価結果のフィードバックを特別に求める指示はしていない．その条件で，評価基準の学生との事前共有は約33%（回答選択肢の上位2項目の割合，以下同様）が，評価結果のフィードバックを約28%が行っていた．Rubricに対する印象およびRubricを用いた評価の適切性，行為のわかりやすさも50%以上が肯定的に捉えていた．一方で，Rubricの示す行為の難易度に関しては68%が難しいと答えた．また，これまで汎用してきた評定尺度とRubricの比較では，学生の能力の評価の適切性，客観性，学生の指標となるか，実務実習の評価として適切かの項目で，58～69%でRubricに対して肯定的であった．パフォーマンス評価を行う際に問題となる評価者の負担に関しては，意見が分かれた．
| アンケート項目 | 5 | 4 | 3 | 2 | 1 | ||
|---|---|---|---|---|---|---|---|
| 1 学生と事前に共有 | 十分にした | 16 | 11 | 22 | 16 | 16 | 全くしてない |
| 2 学生にフィードバック | 十分にした | 14 | 9 | 20 | 19 | 19 | 全くしてない |
| 3 Rubricを用いた評価の印象 | 良い | 15 | 25 | 36 | 4 | 1 | 悪い |
| 4 Rubricを用いた評価の適切性 | 適切 | 13 | 28 | 33 | 6 | 1 | 不適切 |
| 5 Rubricが示す行為のわかりやすさ | わかりやすい | 15 | 28 | 20 | 16 | 2 | わかりにくい |
| 6 Rubricが示す行為の難易度 | 難しい | 22 | 33 | 18 | 8 | 0 | 簡単 |
| 7 どちらが，より適切に学生の能力を評価 | Rubric | 30 | 26 | 17 | 5 | 3 | 評定尺度 |
| 8 どちらが，より客観的 | Rubric | 30 | 23 | 19 | 8 | 1 | 評定尺度 |
| 9 どちらが，評価者の負担が大きい | Rubric | 7 | 25 | 26 | 16 | 7 | 評定尺度 |
| 10 どちらが，学生の指標となる | Rubric | 23 | 31 | 22 | 4 | 1 | 評定尺度 |
| 11 どちらが，学生のモチベーションを高める | Rubric | 25 | 22 | 30 | 3 | 1 | 評定尺度 |
| 12 どちらが，今後の実務実習の評価法として適切 | Rubric | 27 | 22 | 26 | 5 | 1 | 評定尺度 |
n = 81
薬剤師に対するアンケートのうち，今回用いたRubricに対する評価となる項目3～12を用いて因子分析を行った．最尤法，対角要素＝squared multiple correlation（SMC），Varimax回転にて探索的因子分析を行い，最終的な共通性が0.3以上のものを採用した．最終的に最尤法，対角要素＝SMC，Quartimin回転によって9項目から表3に示す2因子を抽出した．各因子を構成する項目（因子負荷量0.35以上）より，因子1「評価法としてのRubric」，因子2「評価者の主観的価値判断」と命名した．また，各因子得点を用いて階層型クラスター分析（Ward法）を行い，A～Cの3群に分類した．各群が持つ因子得点の平均を表4に示した．各群の特徴は，Rubricに肯定的で抵抗感のないA群，中立的なB群，Rubricに否定的で抵抗感のあるC群，となった．
| 因子1 | 因子2 | 共通性 | ||
|---|---|---|---|---|
| 7 どちらが，より適切に学生の能力を評価 | 0.951 | –0.061 | 0.827 | |
| 10 どちらが，学生の指標となる | 0.912 | –0.059 | 0.782 | |
| 12 どちらが，今後の実務実習の評価法として適切 | 0.798 | 0.175 | 0.863 | |
| 8 どちらが，より客観的 | 0.795 | –0.011 | 0.621 | |
| 11 どちらが，学生のモチベーションを高める | 0.542 | 0.243 | 0.537 | |
| 3 Rubricを用いた評価の印象 | –0.098 | 1.066 | 1.000 | |
| 4 Rubricを用いた評価の適切性 | 0.024 | 0.822 | 0.704 | |
| 5 Rubricが示す行為のわかりやすさ | 0.278 | 0.495 | 0.514 | |
| 9 どちらが，評価者の負担が大きい | –0.240 | –0.339 | 0.286 | |
| 因子間相関 因子1 | 1.000 | |||
| 因子2 | 0.714 | 1.000 | ||
| 群 | n | 因子1 | 因子2 |
|---|---|---|---|
| A | 15 | 1.15 ± 0.14 | 1.58 ± 0.01 |
| B | 38 | 0.32 ± 0.49 | –0.03 ± 0.64 |
| C | 28 | –1.06 ± 0.62 | –0.81 ± 0.58 |
| A vs B | p < 0.0001 | p < 0.0001 | |
| B vs C | p < 0.0001 | p < 0.0001 | |
| C vs A | p < 0.0001 | p < 0.0001 | |
Steel-Dwass検定
Rubricによる測定結果は，学生が11週間で服薬指導の領域で成長をしていることが示されている．実務実習を通した実体験に基づく大学教員および薬剤師の共通の認識として存在する「概ね殆どの実習生が実務実習の期間を通じて成長をする」ことを踏まえると，薬局実務実習における服薬指導を対象としたRubricを用いたパフォーマンス評価により実習生の成長の測定が可能になることが示唆された．
4週目の評価では，Rubricの測定は「1」に偏っており，「0」も散見されるが，滋賀県薬剤師会では薬局実習1週目からの患者対応を強く勧めており，患者に接する機会がないことが理由である「0」の例は少ないと考えられる．その中で，情報の読み取りを測定する「処方箋からの読み取り」と「薬歴からの読み取り」の間に差が見られ（p = 0.0173, Fisher’s exact test），後者の方が「0」の割合が高かった．同様に，対患者へのパフォーマンスである「患者に接する態度・雰囲気」と「投薬と情報の伝達」，もしくは「患者理解度の確認」の間にも差が見られ（順にp = 0.0048, 0.0005, Fisher’s exact test），後者2つの方が「0」の割合が高かった．「処方箋からの読み取り」や「患者に接する態度・雰囲気」は大学で行う事前学習でシミュレーションレベルではあるが学習を重ねている項目である．一方で，「薬歴からの読み取り」，「投薬と情報の伝達」，「患者理解度の確認」などは，模擬の薬歴システムも持たない，あるいは自由な対話を行う模擬患者との学習の機会の少ない大学の学習23)では，実習生が習得することが困難な領域と考えられる．実務実習の初期において実習生が実践的パフォーマンスを発揮できず，実習初期でのRubric評価が「0」の割合が多くなることは当然と言える．一方，大学で繰り返し重ねてきた学習は実践の場の成果に繋がることを示唆していると思われる．本結果は，これまでの事前学習の有用性を示すとともに，今後は現在取り組めていない項目において更なる取り組みが必要であることを示している．
また，11週を通した実習生の成長が測定できるということは，指導に当たる薬剤師にも実習生の成長を感じやすいということに繋がると思われる．実習生の成長を感じることによって，指導内容に対するフィードバックや指導に対するモチベーションとなることが期待できる．
薬剤師を対象としたアンケート結果より，滋賀県でRubric評価を実際に行った薬剤師から，Rubricに評価方法として高い評価を受けた．慣れ親しんだ評定尺度との比較においても，評価の適切性，客観性，実習生へのフィードバックなどでRubricの方が支持されたと言える．懸念されている評価者負担は，今回の研究では評定尺度とRubricではあまり変わらないという結果となった．因子分析の結果を踏まえると，因子2ではRubricに対する印象・適切性・行為のわかりやすさと評価者の負担の因子負荷量が逆相関しているため，Rubricへの理解度が低いと抵抗感が生じると思われる．今回Rubric評価を行った滋賀県薬剤師会は，2015年頃からRubricに関して学習するワークショップを開くなど積極的な取り入れを進めてきた背景があり，そのような積み重ねが全体的なRubricへの高評価につながっていると考えられる．
今回の試みにより，改訂コアカリの下で行われる実務実習で求められるパフォーマンス評価がもたらす教育効果の一部が明らかになった．負担の増大が懸念されている評価ではあるが，学習者の指標となり意欲を高め，実践レベルでの成長を感じることが可能になる．また，評価者にとっても，自らの教育のフィードバックとなることが期待できる．負担感の原因は，Rubricによるパフォーマンス評価への不慣れであることも示唆された．今までと大きく異なるものであるが故に，評価概念の更新が必要となるが，更新がなされれば従来の評価と比べて負担は変わらない可能性も示唆された．
本研究を行うにあたり，Rubric作成にご支援いただきました，大津山裕美子先生，須崎宏子先生に深く感謝いたします．また，匿名割り付け作業，薬剤師へのRubric・アンケート等の配布・回収をいただきました滋賀県薬剤師会に厚く御礼を申し上げます．
発表内容に関連し，開示すべき利益相反はない．
