Original Article
Performance evaluation with a rubric for postgraduate clinical pharmacists
2021 Volume 5 Article ID: 2021-030
Details
2021 Volume 5 Article ID: 2021-030
ルーブリックは明示的学習効果が利点とされているが，卒後の臨床薬剤師の育成に応用した報告はない．多施設の新人薬剤師に対して，ルーブリックによるパフォーマンス評価方法を導入した．臨床薬剤師ルーブリック評価表を作成し，2018年に入職した17病院，34名の対象者に対して評価を行った．ルーブリック評価表の半年時点，1年時点，2年時点の総合得点の中央値は25点，44.5点，58点であり有意に増加がみられた（P < 0.001）．半年時点の総得点と指導患者人数や指導件数，経験疾患領域数，プレアボイド件数について有意に正の相関がみられた（P < 0.001）．卒後教育として臨床薬剤師のパフォーマンスが可視化され，その能力の向上が評価可能となった．メタ認知能力の向上が課題となったが，早期に臨床経験を行うことの必要性が示唆された．ルーブリックによるパフォーマンス評価方法の導入は有用である．
Rubrics are considered to have the advantage of direct learning effects, but to date, there have been no reports on the application of rubrics in post-graduate clinical pharmacist education. In this study, a rubric was developed to assess 34 novice pharmacists from 17 hospitals who had joined the profession in 2018. The median total score of the rubric at six months, one year, and two years was 25, 44.5, and 58 points, respectively, indicating a significant increase in performance (P < 0.001). Significant, positive correlations were also found at the half-year point with respect to the overall score and number of assisted patients or cases, the number of diseases encountered, and the number of PreAvoid interventions (P < 0.001). The rubric evaluated the performance and skill improvement of the postgraduate clinical pharmacists. The results indicated that the participants’ metacognitive ability assessment was inadequate and suggested that early clinical experience was necessary at this stage. The conclusion was that the introduction of a rubric-based performance evaluation is practical.
2013年の薬学教育モデル・コア・カリキュラム改訂により学習成果基盤型教育（outcome based education: OBE）が導入され，アウトカムを意識した実務実習が必要となった．それに伴い，2019年度の実務実習から評価体系も変化し，ルーブリックによるパフォーマンス評価（以下，ルーブリック評価）が開始された．ルーブリック評価は，あらかじめ評価基準を共有することで，研修者と評価者が統一した観点で評価でき，目指すべき目標が明確化される明示的学習効果が利点とされている1)．医療技術の高度化，医薬分業の進展等に伴い，高い資質を持つ薬剤師養成が求められている中で，薬学生に対する教育体制は革新された．しかし，薬剤師としての資質や能力は，大学教育の中ですべてを網羅することは困難であり，卒業後に就職した施設において教育を受け，はじめて薬剤師としての責務を全うすることができる．
医師，歯科医師には法律で定める臨床研修制度が存在するが，薬剤師においては標準化された臨床教育制度は存在しない．卒後教育として，大学病院におけるレジデント制度の報告2) や，自施設での教育制度についての報告3) は散見されるが，多施設で広く標準化された卒後臨床教育プログラムはなく，各施設の特性に応じた教育方法が実践されている．個人の潜在能力や各施設の教育制度により薬剤師としての成長過程が異なり，そのパフォーマンスを評価する方法についても，確立されたものは報告されていない．
上尾中央医科グループ（以下AMG）薬剤部はグループ全体で継続的に臨床薬剤師4) としての心構えやノン・テクニカルスキルの育成を行っている．大小様々な施設がある中で，臨床現場における施設間の教育格差を是正するため，2018年度には「AMG臨床薬剤師ルーブリック評価表」を作成し，多施設における系統的な卒後教育方法を導入した．
ルーブリック評価表を活用した教育方法については，薬学生5,6) や看護学生7,8)，作業療法士や言語聴覚士の学生9,10) などを対象とした報告は多数あるが，卒後の薬剤師に対して活用した報告は見当たらない．また，卒後教育として英国で開発されたCase-based discussionが臨床能力評価ツールとして有用であるとの報告はあるが11)，ルーブリック評価が臨床能力評価に有用であったとの報告はみられない．そこで，今回は大小様々な施設を有するAMGの新人薬剤師に対して，臨床薬剤師育成のために系統的なルーブリック評価を導入し，その分析を行ったので報告する．
ルーブリックの作成にあたり，薬学教育協議会作成の概略評価表12) や米国臨床薬学会（American College of Clinical Pharmacy : ACCP）作成の臨床薬剤師コンピテンシー 4) を参考とした．臨床薬剤師に求められるパフォーマンスの重要項目として，「倫理と姿勢」「臨床」「教育」「研究」の4つを掲げ，それに付随する大項目を9つ設定した．「倫理と姿勢」に付随する大項目は「臨床薬剤師としての倫理観と姿勢」，「臨床」に付随する大項目は「調剤」，「薬品管理」，「医薬品情報」，「医療安全」，「感染管理と抗菌薬の適正使用」，「病棟業務」，「教育」に付随する大項目は「自己研鑽と後輩指導」，「研究」に付随する大項目は「臨床研究」と設定した．臨床薬剤師として必要なコンピテンシーは，それぞれの大項目に関連した，「①医療人としての倫理観（以下，倫理観）」「②臨床薬剤師としての姿勢（以下，姿勢）」「③処方せんに基づく医薬品の調製（以下，調剤）」「④処方監査と疑義照会（以下，処方監査）」「⑤医薬品の供給と管理（以下，薬品の供給）」「⑥医薬品情報の収集と評価・活用（DI）（以下，医薬品情報）」「⑦患者安全と医療安全（以下，患者安全）」「⑧感染管理」「⑨抗菌薬の適正使用（以下，抗菌薬）」「⑩コミュニケーション」「⑪患者情報の収集・提供（以下，患者情報収集）」「⑫薬剤管理指導」「⑬病棟薬剤業務」「⑭有効性・副作用のモニタリングと投与設計（TDM）（以下，投与設計）」「⑮教育と共育（以下，教育）」「⑯臨床研究」の16項目を設定した．コンピテンシーと大項目の関連については図1に示した．
臨床薬剤師ルーブリック評価表．
大項目は「1．2．3．…9．」と表記し，項目（コンピテンシー）は「①②③…⑯」と表記した．関連する大項目の下に対応するコンピテンシーを列記した．
ルーブリック評価表の作成にあたっては，臨床薬剤師の基盤を2年間で育成すると仮定し，病棟業務開始前，病棟業務開始1か月後，薬剤師経験1年間，薬剤師経験2年間で到達することを目標とした4段階の設定と，キャップストーンを加えた計5段階のパフォーマンス評価とした．
2．対象と期間ルーブリック評価の導入は，薬学教育6年制課程を卒業後，2018年4月に新入職員としてAMGに入職した薬剤師37名を対象とし，2020年3月までの2年間を評価期間とした．
なお，2018年度の新入職者のみを対象とし，中途入職者は除外した．
3．ルーブリック評価表の評価と評価者入職後半年時点，1年時点，2年時点でルーブリック評価を実施した．
評価者としては日本薬剤師研修センターの定める認定実務実習指導薬剤師が評価を行うこととした．評価時の注意点や評価方法，ルーブリック評価の目的と共育の姿勢について評価者マニュアルを作成し，評価者に対しては各薬局長からその内容を伝達講習した．
なお，施設や実務の状況に応じて，より適切な評価者を別に選定する場合は，認定実務実習指導薬剤師と薬局長の判断の上，評価者として任命することも可能とした．
4．対象者の調査項目ルーブリック評価を分析するため，対象者の臨床経験と教育・研究環境について調査を行った．臨床経験としては，薬剤管理指導の開始日，薬剤管理指導の指導人数，薬剤管理指導の件数，薬剤管理指導の疾患領域数，プレアボイド件数を調査した．教育環境としては，病床数，一般病床数，急性期病院か慢性期病院（一般病床を持たない病院を慢性期病院と定義した），薬剤師数（常勤，非常勤含む），認定薬剤師の延べ取得数と種類を調査した．研究環境としては論文投稿の件数と学会発表の件数を調査した．
なお，疾患領域数は作成当時の日本医療薬学会認定薬剤師の研修カリキュラムを参考に，1．精神疾患，2．神経・筋疾患，3．骨・関節疾患，4．免疫疾患，5．心臓・血管系疾患，6．腎・泌尿器疾患，7．産科婦人科疾患，8．呼吸器疾患，9．消化器疾患，10．血液および造血器疾患，11．感覚器疾患，12．内分泌・代謝疾患，13．皮膚疾患，14．感染症，15．悪性腫瘍，16．その他の疾患の16疾患を調査した．
また，プレアボイド件数はその内容について評価者の合意を得た件数とした．
5．ルーブリック評価の分析パフォーマンスレベルを1～5点の順序尺度とし，半年間での到達目標は各項目2点，最大得点を32点，1年間での到達目標は各項目3点，最大得点を48点，2年間での到達目標は各項目4点，最大得点を64点と設定した．全体の点数の推移について調査を行い，達成率はルーブリック評価の点数を最大得点で除した割合を算出した．
また，ルーブリック評価16項目の点数の推移とそれぞれの項目の順位を調査し，各項目について分析を行った．
臨床経験と教育環境については，ルーブリック評価の総得点との相関関係を調査した．研究環境については，論文投稿の有無，学会発表の有無，継続的な臨床研究の有無について2群間で分析を行った．
6．統計解析対応のある順序カテゴリデータについてはWilcoxonの順位和検定，Friedmanの検定を用い，対応のないデータについてはMann–Whitney U検定を用いた．相関関係についてはSpearmanの順位相関係数を算出した．有意水準は5%とし，相関係数はrs > |0.6|を相関ありと定義した．
7．倫理的配慮本研究では，AMGの職員を対象とした研究である．上尾中央総合病院倫理委員会に審議を申し出たが，職員を対象とした教育目的の研究であり，「人を対象とする生命科学・医学系研究に関する倫理指針」の「第1章 総則」並びに，「第2章 用語の定義」に該当しないため審査は不要と判断された．審査は不要とされたが，「人を対象とする生命科学・医学系研究に関する倫理指針」を遵守し実施した．対象者には個人情報を保護した上で，研究目的で利用する旨について同意を取得した．
上尾中央総合病院の薬剤師で試作した内容を吟味し，試験運用を経て，AMGの各薬局長と協議し，ルーブリック評価表を作成した．ルーブリック評価表は図1に示す．
2．対象者と評価者37名の対象者のうち，途中で離職した3名は評価困難であったため，34名で分析を行った．対象者34名に対して評価者は28名であり，対象者1名に対する評価者はいずれも2名以下であった．対象施設や対象者の所属施設状況，2年間の臨床経験については表1に示す．
| 対象施設数 | 17病院 |
|---|---|
| 一般病床200床以上 | 5病院 |
| 一般病床200床未満 | 11病院 |
| 慢性期病院（一般病床200床未満） | 1病院 |
| 対象者数 | N = 34 |
| 男：女 | 11名：23名 |
| 一般病床200床以上の勤務者（人） | 19（55.9%） |
| 一般病床200床未満の勤務者（人） | 14（41.2%） |
| 慢性期病院での勤務者（人） | 1（2.9%） |
| 対象者の所属施設環境*1 | |
| 所属施設の総病床数（床） | 300（80–733） |
| 所属施設の一般病床数（床） | 231（0–659） |
| 所属施設の薬剤師数（人） | 28（7–67） |
| 所属施設の認定薬剤師取得数（件） | 13（1–58） |
| 所属施設の学会発表数（件／年） | 1.3（0.6–13.3） |
| 対象者の2年間の臨床経験*1 | |
| 病棟業務開始日（日）*2 | 185（61–310） |
| 患者指導総人数（人） | 739.5（49–1732） |
| 患者指導総件数（件） | 1998（100–2429） |
| 経験疾患領域総数（領域）*3 | 14（5–16） |
| プレアボイド総件数（件） | 12.5（0–199） |
*1 中央値（範囲）
*2 病棟業務開始日とは入職日から病棟業務開始日を差し引き，何日目で病棟業務を開始しているかを示した．
*3 日本医療薬学会認定薬剤師の研修カリキュラムを参考に以下の16領域を設定
1. 精神疾患，2. 神経・筋疾患，3. 骨・関節疾患，4. 免疫疾患，5. 心臓・血管系疾患，6. 腎・泌尿器疾患，7. 産科婦人科疾患，8. 呼吸器疾患，9. 消化器疾患，10. 血液および造血器疾患，11. 感覚器疾患，12. 内分泌・代謝疾患，13. 皮膚疾患，14. 感染症，15. 悪性腫瘍，16. その他の疾患
ルーブリック評価の半年時点，1年時点，2年時点の総合得点の中央値は25点（範囲：11–40），44.5点（範囲：29–53），58点（範囲：40–63）であり有意に増加がみられた（P < 0.001）．2年時点の最大点となる64点中，最低点が40点，最高点は63点であり，2年時点での達成率は62.5%～98.3%の範囲であった（図2）．
ルーブリック総得点の推移．
半年時点，1年時点，2年時点の総合得点の中央値（四分位範囲，範囲）はそれぞれ順に25点（17–30, 11–40），44.5点（42.3–47, 29–53），58点（55.5–59, 40–63）．
1年時点の最大得点3点×16項目＝48点，2年時点の最大得点4点×16項目＝64点．
Wilcoxonの順位和検定，*P < 0.001．
各項目の結果については図3に全体を示す．「①倫理観」では，半年時点でルーブリック1点が9名，2点が16名，3点が9名おり，1年の時点でそれぞれ2点が3名，3点が28名，4点が3名であった．半年時点で1点であった対象者は，1年時点で2点と3点に分散しており，半年時点で2点であった対象者は，2点，3点，4点に分散した．2年時点では3点が5名，4点が28名，5点が1名おり，3点から5点に上昇した対象者が1名おり，多くの対象者が4点に到達した．2年間の評価を通して変化がみられなかった対象者は点線で示し，ルーブリック「3」に変化がみられなかった対象者が存在した．他の15項目についても同様に示した．2年間通して変化がなかった対象者は，3点が8名（11項目），2点が5名（8項目）であった．特に2点で変化がなかった項目は「②姿勢」「⑦患者安全」「⑨抗菌薬」「⑩コミュニケーション」「⑪患者情報収集」「⑬病棟薬剤業務」「⑯臨床研究」であった．
ルーブリック評価の16項目（コンピテンシー）の推移．
縦軸：ルーブリック評価の点数．
横軸：半年時点（半年），1年時点（1年），2年時点（2年）．
〇はそれぞれの人数を表記，N = 34．
実線―：2年間で1点以上変化がある対象者．
点線…：2年間変化がない対象者
16項目の評価に対してFriedmanの検定を行い，平均順位を算出した．それぞれ点数が高い順に1位～16位で順位付けを行った．順位付けについては表2に示す．2年間通して高い順位であった項目は「①倫理観」であり，2年間通して低い順位であったのは「⑯臨床研究」であった．
| 平均順位* | |||
|---|---|---|---|
| 半年 | 1年 | 2年 | |
| ①倫理観 | 1 | 2 | 3 |
| ②姿勢 | 9 | 15 | 11 |
| ③調剤 | 4 | 5 | 1 |
| ④処方監査 | 2 | 4 | 5 |
| ⑤薬品の供給 | 6 | 1 | 4 |
| ⑥医薬品情報 | 13 | 14 | 12 |
| ⑦患者安全 | 8 | 6 | 6 |
| ⑧感染管理 | 3 | 3 | 13 |
| ⑨抗菌薬 | 14 | 9 | 10 |
| ⑩コミュニケーション | 10 | 8 | 2 |
| ⑪患者情報収集 | 5 | 7 | 8 |
| ⑫薬剤管理指導 | 12 | 10 | 14 |
| ⑬病棟薬剤業務 | 7 | 13 | 15 |
| ⑭投与設計 | 15 | 12 | 9 |
| ⑮教育 | 11 | 11 | 7 |
| ⑯臨床研究 | 16 | 16 | 16 |
| Kendallの一致係数 | 0.156 | 0.220 | 0.318 |
| Friedmanの検定 | P < 0.001 | P < 0.001 | P < 0.001 |
*ルーブリック評価の点数が高い順に順位付け
上位3つを
，下位3つを
半年時点のルーブリックの総得点と指導患者人数（rs = 0.635），指導件数（rs = 0.621），経験疾患領域数（rs = 0.664），プレアボイド件数（rs = 0.655）は有意に正の相関がみられた（いずれもP < 0.001）．しかし，1年時点と2年時点では統計的に有意な相関関係はみられなかった．
7．対象者の教育環境とルーブリック評価の相関関係すべての時点のルーブリックの総得点と対象者の施設の病床数，在籍薬剤師数，認定薬剤師数には，統計的に有意な相関関係はみられなかった．
8．対象者の研究環境とルーブリック評価の比較検討対象期間の2018年から2020年において論文投稿を行っている施設が2病院（対象者12名）のみであり，論文投稿の有無とルーブリックの総得点について統計的に有意な差はみられなかった．学会発表についても，発表していない施設が4病院（対象者4名）のみであり，学会発表の有無とルーブリックの総得点では統計的に有意な差はみられなかった．対象期間中に毎年継続して学会発表を行っている施設の対象者とそれ以外の施設の対象者と比較すると，半年時点と2年時点において毎年発表している施設の対象者が有意に高い点数であった（P < 0.001, P = 0.016）．また「⑯臨床研究」の項目においては，2年時点において毎年学会発表を行っている施設で有意に高い点数であった（P = 0.010）．
ルーブリック評価の導入により，個人のパフォーマンスレベルを可視化することができ，2年間を通して臨床薬剤師のパフォーマンスレベルが向上することが示唆された．半年時点のパフォーマンスレベルのばらつきが，2年間のルーブリック評価を経て徐々に少なくなり，全体のパフォーマンスレベルも高い位置に収束していることが確認できた．今回は大小様々な病院の対象者を評価しており，系統的な卒後教育方法が存在しない臨床薬剤師の育成において，モデルケースとしてもルーブリック評価の有用性が示されたと考えられる．
本研究では評価回数が3回とやや少なく，評価者も途中で変更されていた．しかし，短期的に頻回にわたって評価可能な実務実習とは異なり，免許を取得した後の2年間という長期的な期間，実務を行いながら4段階の評価を行うことを考えると，実臨床に則した評価回数であったと考えられる．さらに評価者の変更は転勤や退職に伴う影響であり，認定実務実習指導薬剤師または任命された評価者が2名以下で評価を実施しており，評価のばらつきは最小限に抑えられたと思われる．
ルーブリック評価の各項目に着目すると，2年間の評価に変化がない項目もあったが，その項目に規則性はみられなかった．特に「2」で変化がなかった項目についても，大きな偏りはなく5名の個人の能力による影響が考えられた．
調剤や処方監査，薬品管理，患者安全については薬剤師の対物業務として初期から必要となる基本業務であり，それらは比較的早い段階で習得できるため常に高い順位で推移していたと思われる．一方，臨床研究の項目については，民間病院の薬剤部で研究を実施する困難さを示す結果となった．医薬品情報業務については，研究とは異なり既知の情報から臨床疑問に対して応用していく項目ではあるが，同様に普段から論文を抄読する機会が少ない民間病院では，その施設の環境要因も影響していたと考えられる．
今回の結果では，臨床薬剤師として最も重要な対人業務である「⑫薬剤管理指導」や「⑬病棟薬剤業務」が低い結果となった．時代がモノからヒトへと変化している中で，特に対人業務については卒後教育における重要な課題だと思われる．習熟度を評価するルーブリック評価の特徴からも，本来は経験値に応じて上昇することが想定されるコンピテンシーではあるが，本研究では臨床研究に次いで低い結果となった．対人業務では，自分の知識だけでは対応できない場面も多くあり，問題点を発見してそれに向けて行動できなければルーブリック「4」が達成できない．具体的には，「⑬病棟薬剤業務」では薬物療法の問題点を発見し，その問題点を解決すべく医師と協議することが必要であり，「⑫薬剤管理指導」ではコンプライアンス不良の原因を見つけ，自分自身が行ってきた指導を見つめ直し，患者のコンプライアンスを改善させる薬学的な介入が求められる．山田13) は，薬剤師として求められる基本的資質は「知識」，「スキル」，「人間性」，「メタ認知」で構成されていると述べている．対人業務におけるルーブリック「3」から「4」へ到達するためには，「知っている」「わかる」「使える」という認知的な能力だけではなく，全体的な能力を高めていくことが必要と思われる．
今回の対象者は比較的早期に病棟業務を開始していた．対象は大小様々な病院であるが，教育環境におけるルーブリック総得点との相関はみられず，半年時点においてのみ指導経験人数やプレアボイド件数などの個人の臨床経験と相関が確認された．また全体のルーブリック総得点は，半年時点，1年時点，2年時点と経過するにつれ，徐々にばらつきが小さくなっている．個人の臨床経験とパフォーマンスには相関があるが，その相関関係は半年までであり，2年間経過する過程で一定の水準に集約されているものと考えられる．臨床薬剤師として研修という場を提供する上では，施設の大小に関わらず，特に入職後最初の半年間に臨床経験をさせることが重要であると示唆される．早期臨床体験により具体的な業務への認識が明確化されるとの報告もあり14)，早期から多彩な業務を一通り学ばせる体制が今回の結果を後押しする形になったと思われる．
本研究の限界としては，迅速かつ頻回な評価が困難であったことである．研修生や実習生が対象であれば，評価者とともに行動し，頻回かつ迅速な評価も可能である．しかし，評価者も対象者も臨床薬剤師として実際の現場で業務を行いながらの教育であり，評価のタイミングを細かく設定することが困難であった．それぞれの成長過程を時間軸で細かく分析することが困難であり，その点は研究限界であると考える．また，ルーブリックの特徴として，その項目の習熟度が対象者により異なっていても，同じレベルで評価されてしまう可能性がある．つまり，「時々できる」レベルと「いつでも確実にできる」レベルが層別できず，評価者によってはバイアスが生じる可能性がある．また，臨床能力を評価するルーブリックには認知システムと行為システム13) が混在しており，ルーブリックだけで行為やメタ認知能力を適切に評価できない可能性がある．習熟度や行為，メタ認知能力を適切に評価するためにはポートフォリオなどを合わせて総合的に評価することも必要かと思われるが，業務を行いながら実践することは困難であると考える．ルーブリックを用いて評価を行う本研究では，評価のバイアスを完全に除去しきれないことも限界かと思われる．今後，卒後研修などの現場で学ぶことが制度化された際には，オンコール体制や指導薬剤師との連携を十分に構築し，頻度高く指導・評価ができるような環境整備が必要である．
今後の課題としては，最も低い結果になった臨床研究とメタ認知の育成である．学会発表を継続的に行っている施設ではおおむね教育者の研究に対する姿勢も高いことが考えられ，そのような施設において差が生じたものと思われる．臨床研究では場の影響も大きいと推察され，研修者のみならず，教育者においても意識改革をしなければ，改善が見込めないと思われる．臨床研究におけるグループ全体の体制の確立も今後の課題となった．また，メタ認知能力が高い者は，学習や問題解決を効率的に遂行できるとされており15)，チーム医療が主体となる臨床薬剤師においては，メタ認知能力の育成が必要不可欠だと考えられる．「卒業までに学生が身につけるべき資質・能力」にはメタ認知に直接対応する項目が存在しないとも述べられており13)，メタ認知能力は臨床現場で育成すべき重要な課題だと思われる．さらに，朝日奈らは16)，メタ認知能力の発達のためには評価者と共にその行動を振り返る反省的実践が重要と報告しており，メタ認知能力の育成を図りつつ，その評価方法の確立と評価者の育成も今後の課題となった．
卒後教育として確立されていない領域において，本研究では初めて多施設共通の臨床薬剤師のルーブリック評価を導入した．臨床薬剤師として求められるパフォーマンスレベルを明示することで，施設状況によらず個人のレベルと成長過程を可視化することができた．可視化することで課題や改善点も表面化され，対象者と評価者が統一した見解でパフォーマンスを向上させていくことが可能となった．ルーブリック評価を卒後教育の臨床能力評価として活用することは有用であると考える．
今回得られた問題点を検討し，さらに研究を進めていく．
発表内容に関連し，開示すべき利益相反はない．
