誌上シンポジウム：事前学習・実務実習のアウトカムを測る
病院実習で行うパフォーマンス評価
2018 年 2 巻 論文ID: 2018-002
詳細
2018 年 2 巻 論文ID: 2018-002
慶應義塾大学では，2019年度から開始される改訂版・薬学教育モデル・コアカリキュラムに準拠した実務実習に向けた取り組みの一環としてパフォーマンス評価のためのルーブリックを作成し，慶應義塾大学病院にて評価トライアルを実施している．2016年度の2回のトライアルから「負担が大きい」，「ルーブリックの内容が漠然としている」などの問題点が挙がった．わかりやすいルーブリックに工夫・改善し，評価回数を減らし，薬剤部全職員対象に説明会を実施した上で2017年度に3回目のトライアルを行った結果，評価者の負担感はSBOs評価とルーブリック評価で変わりなく，ルーブリックの方が適切に，客観的に課題遂行能力を評価できるとの評価者の意見であった．ルーブリックによる実務実習パフォーマンス評価は可能と考えられるが，わかりやすいルーブリックの作成，スタッフへの周知徹底と意識統一が重要である．
学習成果基盤型教育（outcome-based education: OBE）を柱とした平成25 年度改訂版・薬学教育モデル・コアカリキュラム1)（以下，改訂コアカリ）に準拠した実務実習が2019年度からスタートする．
慶應義塾大学では，薬学部実務実習委員会，慶應義塾大学病院薬剤部，慶應義塾大学薬学部附属薬局とともに慶應病院－薬局－薬学部連携ワーキンググループ（WG）を立ち上げ，「薬学実務実習に関するガイドライン」 2)（以下，ガイドライン）に示された大学への指針〈実習施設との連携体制の整備〉を目指し様々な取り組みを行っている．現行のSBOs評価とは大きく異なるパフォーマンス評価への取り組みはその一環であり，2015年度より順次，実務実習評価のためのルーブリックの作成と評価トライアルを行い問題点の抽出，改善検討を行っている．
本稿では，ルーブリックを用いた病院実務実習におけるパフォーマンス評価について，2016年度からの本学の評価トライアルの検討結果について紹介する．
2015年4月，改訂コアカリに準拠した実務実習に向け慶應義塾大学連携WGを結成した．しかし当時，トライアルに利用できるルーブリックは存在せず，まずは薬学部実務実習委員会にて「処方箋に基づいて適切に調剤ができる」（以下，「調剤」），「処方箋に基づいて適切に注射調剤ができる」（以下，「注射調剤」），「患者の病状や背景に配慮し，適切な服薬指導ができる」（以下，「服薬指導」）をコンピテンシーとする4段階の評価尺度を持つ3種類の総合的ルーブリック（Holistic Rubric）3)，及び評価者向けの評価のための説明・補足資料を作成し，2016年度慶應義塾大学病院I・II期実務実習生（計34名）を対象として初めての評価トライアルを実施した．その結果，トライアル実施可能であった一部の実習項目（服薬指導）では，実習の進捗に伴い経時的な評価尺度のスコア上昇，即ち学生の成長と形成的評価が可能であったことから，自前で作成したルーブリックの一定の効果と有用性を確認することができた．一方，実習後アンケート調査では「学生を見る目が変わる」，「次回につなげられる」，「実習前に学生と目標を共有できる」，「評価を行いやすい」といった評価者からの前向きな意見もあったものの，多くの評価者がルーブリック評価は「負担が大きい」，「評価観点（目標）と実習内容（現実）が乖離している」，「ルーブリックの内容が漠然としている，知識，態度，技能が混在していてわかりにくい」と感じており，主に1）ルーブリックのそのもののquality，2）大学の説明不十分に伴う評価者のルーブリックに対する理解不足，3）評価者の負担が大きい評価・運用方法，4）学生への提示方法と説明不十分，の4点が改善すべき点として挙がった．
これらを踏まえ，2017年度I期実務実習におけるトライアルでは，1）ルーブリックの改訂（改善と新規項目の追加作成）とルーブリック運用のための補足資料の充実によるわかりやすさの向上，2）評価者のみならず薬剤部全職員に説明会を開催し，ルーブリックも含めたパフォーマンス評価に関する周知を徹底する，の2点に注力して改善を行った．さらにこれらに加え，3）評価回数の見直しによる負担軽減を図り，ルーブリックを用いることの効用であり目的の1つでもある明示的学習効果 3,4) の観点から4）学生へのルーブリック提示・説明回数を増やした（図1）．具体的には，ルーブリックの改訂については，改訂コアカリにおけるすべてのSBOsを見直し，改訂コアカリFにおけるSBOsの分類にかかわらず薬剤師業務のパフォーマンスをイメージして対応する実習項目のルーブリックに入れ込んだ．例えば，‘衛生的手洗い’ は「F-(2)-【安全管理】」のSBOであるが，実際の業務の中では病棟に向かう前に行う基本動作でもあるため「服薬指導」のルーブリックの最低尺度（ベンチマーク）に入れ込んだ．このようにすべてのSBOsを見直すことに加えて，各評価基準・内容を見直した．さらに，評価者がイメージしやすく，かつ大学が求める基準を明確にするため，各尺度に対して業務の中での具体事例や判断基準等を付記した（図2）．評価回数とタイミングの見直しでは，各実習項目の評価回数を2回とし，また本来，ルーブリックは評価者が学習者に説明すべきものではあるが，ルーブリックの説明・配布を実務実習開始1週間前に大学でも教員が行うことで，学生がルーブリックに目を通す機会を増やすこととした．ルーブリックが“わかりやすい評価指標”となることは評価者の理解不足や負担軽減にもつながり，薬剤部全職員への周知はルーブリックに対する実習施設全体の理解度向上，評価回数とタイミングの見直しは評価者の負担軽減及び運用向上が期待された．
2016年度トライアルで挙がった課題と解決・改善策
作成したルーブリック例（服薬指導）：改訂版
2016年度のトライアルで挙がった課題に対する改善を行い，2017年度慶應義塾大学病院I期実務実習生（21名）を対象に以下の要領にてトライアルを実施した．1）ルーブリックを用いた学習目標の確認：実習開始前（大学教員による説明），実習初日オリエンテーション時（実務実習統括・指導薬剤師による説明），各実習項目の実習中（各実習担当者による説明），その他，実習中は実習生に常にルーブリックを携帯させ，いつでも評価基準を確認できるようにした．2）評価回数：各実習項目中2回，3）フィードバック：可能な限り評価時に実施，4）学生による自己評価，にて評価に関するトライアルを行った．実習後に評価担当者（29名，複数項目を評価した評価者がいたため評価・フィードバックに関わった評価者はのべ34名），及び実習生を対象にアンケート調査を実施し，2016年度トライアルで抽出された課題が解決されたかどうかについて検証を行った．また，作成したルーブリックを用いた評価そのものについて，客観性，実行可能性等の観点からも評価を行った5)．
1． 作成したルーブリックで評価を実施できたか？評価担当者を対象とした実習後アンケート調査結果を図3に示す．実習項目により，80～100%の評価者がルーブリックに新たに付記した「具体事例が参考になった」と感じており，このことが評価者の60～70%が「評価基準が行動評価指針としてイメージすることができた」一因と考えられる．難易度もほとんどの評価者が「ちょうどよい」，「やや難しい」と捉えており，評価者の70～80%が「課題の行動を適切に評価できた」と感じたことにつながったと考えられる．
作成したルーブリックによる実務実習のパフォーマンス評価
各実習項目における実際の評価尺度（スコア）を図4に示した．2016年度トライアル後に改訂を行った改訂バージョンのルーブリックで評価を実施した「調剤」，「注射調剤」，「服薬指導」では，指導者による評価と学生の自己評価は同様の傾向を示し，さらに初回評価と比べて2回目評価の方がスコアが上昇していることから実習生の成長過程を反映できていると考えられる．一方，2017年度トライアル前に新規作成した2種類のルーブリック「施設内のルールに沿って，適切な医薬品管理業務を行うことができる」（以下，「医薬品管理」），「薬物療法に必要な医薬品情報の収集と評価を行うことができる」（以下，「情報収集」）では全体のスコアが低く，スコアの上昇パターンが不安定であることから，更なる内容のブラッシュアップが必要と考えられた．
ルーブリックを用いた評価結果―指導者の評価と学生自己評価の比較―
これらの結果から，まずは作成したルーブリックは機能し，これらを用いて実務実習の評価を実施することは可能であると考えられる．ただし一般に，ルーブリックは実践していく中で常に改訂し続けていくことが必要とされている5)．実際，今回我々の検討でも新規作成したルーブリックよりも改訂を加えたルーブリックのほうがより形成的評価として機能していたことから，トライアルを繰り返しながらブラッシュアップをしていく必要があることを確認することができた．
2． ルーブリックを用いた評価の運用と実行可能性一般に，ルーブリックを教育評価に用いる理由は，「タイミングの良いフィードバック」，「学生によるフィードバックの活用」，「批評的思考のトレーニング」，「他者とのコミュニケーションの活性化」，「教員（指導者）の教育技法の向上」，「平等な学習環境つくり」であり，学習過程で効果的な役割を担うとされている4)．とくにタイミングの良いフィードバックは学習効果を促進することが明らかとなっており6)，フィードバックを受け取る時間が遅くなるほど成果に対するフィードバックの効果が低下することも報告されている7)．ルーブリックを利用した教育評価では，指導者から実習生に対してルーブリックの学習目標の明示と評価に関するフィードバックがきちんと行われているかどうかは重要なポイントの1つである．
今回のトライアルにおいて，指導者／評価者のおよそ9割前後が「担当する実習期間中のいずれかのタイミングで，ルーブリックを利用した，学ぶべき内容やルーブリックを使用する意義についての説明」を行っており，実習生もそのほとんどが，ルーブリックに関して上記で評価者について記載した同じタイミング・同じ内容を「指導者／評価者と共有している」と認識していた．フィードバックについても評価者の約9割が「評価してすぐにフィードバックを実施した」，実習生の多くが「評価してすぐにフィードバックをもらった」と認識しており，実務実習においてもルーブリックを利用した学習内容のフィードバックは実施可能であると判断された（data not shown）．
「ルーブリック用いる評価の負担」は2016年度トライアルで最も大きな課題の1つであったが，2017年度トライアルで評価者が感じる負担は現行のSBOs評価と変わりなかった（図5）．SBOsも含めたルーブリック全体の見直し，具体事例等の付記，補足説明資料の充実化による“わかりやすいルーブリック”の作成を目指したこと，評価回数の低減，そして2016年度I期実習から重ねること3回目のトライアルでありルーブリックというものに慣れてきたことが，ルーブリック評価の負担感を軽減させたものと考える．
評価に対する負担感：SBOs（評定尺度）評価とルーブリック評価の比較．10段階スケールによるスコア評価．図中，太線は中央値．2群比較：Wilcoxon signed-rank test.
評価者は現行のSBOs評価と比べてルーブリック評価の方が，課題の遂行能力を「適切に測定できる」，「客観的に測定できる」，ルーブリックは「学生にとってよい実習目標になる」，「学生のモチベーション向上につながる」と感じており，ルーブリックを用いた評価の有用性を感じていた（図6）．
ルーブリックによる実務実習評価の有用性（評価者の意見）．10段階スケールによるスコア評価．図中，太線は中央値．2群比較：Wilcoxon signed-rank test.
一方，実習生は，前述のようにそのほとんどが指導者／評価者とルーブリックを共有し，評価の際にすぐにフィードバックを受けたと認識していたにも関わらず，ルーブリックの内容が，自分が習得すべき目標であることがわかった実習生は65%，学習目標を示されたことが良かった／役立ったと感じた学生は54%にとどまり，必ずしもルーブリックに明示されている評価指標が自分の目指すべき行動目標とは捉えていなかった（図7）．
ルーブリックを用いた評価の有用性
本トライアルのSBOs評価との比較で明らかとなったルーブリックによるパフォーマンス評価の適切性や客観性は，アンケート調査による評価者の主観的評価に基づく結果であり，外的基準との相関性や複数評価者による精度や再現性に基づく本来の教育評価法の評価方法5) によるものではない．しかし，実際に2017年度I期実務実習で実習生を指導・評価している評価者による責任ある主観に基づく今回の結果は，今後に向けたルーブリック評価の可能性を示すものと考える．
以上のトライアル結果より，1）実務実習において，実習生のパフォーマンスをルーブリックで評価することは可能であり，とくに，評価者は現行のSBOs評価と比べてルーブリック評価のほうが，適切に，客観的に評価できると感じている．ただしそのためには，2）わかりやすいルーブリックの作成や，指導薬剤師のみならず実習施設の多くのスタッフへの周知徹底，指導者・評価者・大学教員など実習に関わるすべてのメンバーの意識統一が重要であり，そのための工夫，努力，協力が不可欠である．一方，評価者はルーブリック評価について一定の有用性を感じていたが，3）実習生は必ずしもルーブリックが実習の中で目指すべき自分の行動目標のなるとは捉えておらず，実務実習に対してモチベーションの異なる学生達に対する意識づけが今後の課題であると考える．
本学が改訂コアカリに準拠した実務実習を目指してWGを立ち上げた2015年には，実務実習を評価するためのルーブリックが存在していなかった．評価トライアルを実施するために，WGの体制を整え，ガイドラインの方針に則り実習施設と密に連携しながら大学が主体となってルーブリックを作成しトライアルを重ねてきた．その結果，実際に運用可能な実務実習評価のためのルーブリックの完成と運用にあたっての課題と解決策などのノウハウを蓄積してきた．しかし，2017年9月現在，薬学実務実習に関する連絡会議による「薬学実務実習の評価の観点（例示）」 8)，日本病院薬剤師会による「病院実務実習評価原案_日病薬版（案）」 9)，日本薬剤師会による「薬局薬剤師のための薬学生実務実習指導の手引き 改訂版〈OBE で評価しよう〉（案）」 10) による3種類の評価表が存在し，関東地区においては関東地区調整機構大学小委員会による「大学発の実務実習評価・実習計画書案策定ワーキンググループ」も立ち上がっている．改訂コアカリにおける実務実習は，薬局実習と病院実習の連続性と一貫性が重視され，薬局実習と病院実習の垣根を取り払ったSBOsで構成される連続した5か月の実習である．そのためには統一した1種類の評価表をもって連続的に評価すべきとの意見が少なくないが，薬局実習は日本薬剤師会版，病院実習は日本病院薬剤師会版の概略評価を使用することが2017年6月に決定している．従って，本学においても2019年度からスタートする病院実務実習では日本病院薬剤師会版の概略評価を使用する予定である．しかし，本学のトライアルで直面した課題やその解決策，あるいは取り入れると良いと思われる工夫など，得られた様々な情報を今後に活用していただけるよう，さまざまな場で提供し，実習生・指導者・大学の三者いずれにとってもより良い実務実習評価となることを目標に活動する方針である．
発表内容に関連し，開示すべき利益相反はない．
