Japanese Journal of Pharmaceutical Education
Online ISSN : 2433-4774
Print ISSN : 2432-4124
ISSN-L : 2433-4774
Practical Article
A practical education program workshop for the utilization of systematic reviews: trial and assessment
Masahiro UedaTakashi OharaNobumasa TakagakiEiji ItoShiho OhmoriTadashi Shimizu
Author information
JOURNAL FREE ACCESS FULL-TEXT HTML

2019 Volume 3 Article ID: 2018-041

Details
Abstract

薬剤師が信頼性の高いプロトコールを作成するために,診療ガイドラインだけでなく,推奨文の根拠となっているシステマティックレビュー(SR)論文を評価・活用することが求められる.しかし,大学教育および生涯研修においてSR論文の評価と活用に関する実践的な教育についての報告はごく限られている.本研究では,SR論文の評価と活用を志向したワークショップの実践による知識習得度の変化と受講者のEBMの実践可能性への意識とワークショップの理解満足度について調査した.知識習得度確認試験の受講後の平均点は受講前に比べ有意に向上した(9点満点,Pre:2.29点,Post:5.16点,p < 0.001).本研究により,SR論文の評価と活用を志向したワークショップは受講者のSR論文の評価に対する知識習得度の向上およびEBMの実践可能性に対する意識づけに寄与することが明らかとなった.

緒言

システマティックレビュー(SR)は,生じた臨床疑問に対して,関連する医学論文だけでなく未発表データまで網羅的に検索・収集した後に,収集した医学論文を評価・採用した上で個々の論文データの統合(メタアナリシス)を行う研究である.Evidence-Based Medicine(EBM)を実践する上で信頼性の高いエビデンスであり,診療ガイドライン(CPG)推奨文の根拠と位置付けられている1).しかし,医学分野のトップジャーナル4誌に掲載された144本のSR論文の再評価において,SR論文作成の国際的指針と位置付けられるPRISMA声明2) に基づく6項目基準のうち3項目以上を満たしているSR論文は50%程度との報告がある3).このため,薬物治療に関連するCPGの推奨の根拠となるSR論文を薬剤師自らが評価できる必要がある.しかし,薬学部におけるEBM教育の現状調査によれば,PRISMA声明に基づくSR論文の評価について,演習形式などの実践的活用を意識した教育を行っている大学は5大学程度であり4),SR論文を評価して活用できる薬剤師は限られていると推測される.このため,卒後教育で学習できる場を提供することが必要である.

既に国内の薬学教育の分野でも,ジャーナルクラブやワークショップ形式による薬剤師を対象とした医学論文評価学習の実践事例が報告されている5,6).また,海外の研修医に対する医学論文評価学習方略の比較試験において,医学論文の評価だけを学習するジャーナルクラブ形式よりも,患者への適用を念頭に置いたワークショップ形式の方が高い学習効果を示すことが報告されている7).しかし,これら実践事例報告で用いられた対象論文はランダム化比較試験(RCT)論文であり,SR論文の評価と活用についての学習会の実践事例報告はごく限られているのが現状である8)

そこで我々は,医学論文の評価と活用を志向した学習方略として報告のあるCritical Appraisal Skills Programme(CASP)ワークショップ形式9,10) により受講者のSR論文評価に必要な知識習得度が向上するかどうかを検証することを第1の目的とした.さらに,第2の目的として,より効果的なワークショップ内容の策定に向けて改善点を抽出するために,受講者のワークショップ受講後のEBMの実践可能性への意識とワークショップに対する理解満足度について調査した.

方法

1.学習の流れ

ワークショップ開催2週間前に,EBMに関する解説資料,仮想症例シナリオ,課題SR論文,SR論文評価チェックリストをメールで送付し,受講者への事前学習を促した.ワークショップ当日は,①EBMの5 stepsに関する講義,②SR論文の構成と質の評価についての講義,③課題論文の病態の基礎事項に関する講義,④臨床疑問の定式化およびSR論文の質の評価についての小グループ討論と発表,⑤SR論文の結果の患者への適用についての小グループ討論と発表を実施した.また,プレテストはワークショップ開始前,ポストテストはワークショップ終了時に実施した(図1).

図1

SR論文評価学習の流れ

2.課題SR論文の選定

課題SR論文は,「Effects of SGLT-2 inhibitors on mortality and cardiovascular events: a comprehensive meta-analysis of randomized controlled trials. (Acta Diabetol. 2017; 54(1): 19–36.)」とした.選定理由として,SR論文の重要な評価ポイントである,①網羅的検索・選択の過程,②採用論文の質の評価結果,③各論文の結果を統合したフォレストプロット,④出版のバイアスの評価に使うファンネルプロットが記載されていることを考慮した.

3.知識習得度確認試験の内容および解析

知識習得度確認試験は,SR論文を評価する上で重要な項目を問う問題とした(図2).解答方式は出来るだけ偶然の正解を減らすために複数解答全答式とした.プレテスト,ポストテストは同一の問題としたが,プレテスト終了時に問題を回収し,正答はポストテスト終了時まで開示しないようにした.解析対象者は,本研究に協力することについて承諾し,プレテストおよびポストテストの両方を受験・提出した受講者のデータをEZR11) を用いて解析した.受講前,受講後の総合点の比較はWilcoxonの符号順位検定,各問の正答率の比較はFisherの正確確率検定を用いた.

図2

知識習得度確認試験

4.受講者アンケートの内容

ワークショップ受講者に対して,5段階の評定尺度(5.とてもそう思う,4.そう思う,3.どちらとも言えない,2.そう思わない,1.全くそう思わない)からなる計17問の質問で構成された無記名・自記方式のアンケートを実施した.アンケート内容は,職種(Q1),実臨床におけるEBMの5 stepsの実践可能性(Q2~6),ワークショップに対する理解満足度(Q7~17)とした.

5.倫理的配慮

本研究は「人を対象とする医学系研究に関する倫理指針」を遵守し,兵庫医療大学倫理審査委員会の承認を得て行った(承認番号17023).

結果

1.知識修得度確認試験の結果

解析対象者31名(解析率63%)の職種は,病院薬剤師9名(29%),薬局薬剤師9名(29%),薬系大学教員1名(3%),薬学生11名(36%),歯科医師1名(3%)であった.知識習得度確認試験の受講後の平均点は受講前に比べ有意に向上した(9点満点,Pre:2.29点,Post:5.16点,p < 0.001,表1).また,薬剤師・歯科医師,薬学生の受講層別のいずれも受講後の平均点は受講前に比べ有意に向上した(薬剤師・歯科医師,Pre:2.50点,Post:5.35点,p < 0.001;薬学生,Pre:1.90点,Post:4.82点,p = 0.001,表1).EBM学習会受講回数別に0–1回の層,2回以上の層それぞれにおいても受講後の平均点は有意に向上した(0–1回,Pre:2.05点,Post:5.00点,p < 0.001;薬学生,Pre:2.72点,Post:5.45点,p < 0.001,表1).さらに,受講者全体における受講後の正答率が受講前に比べて有意に上昇した項目は,SRの概要(問題1,Pre:16%,Post:52%,p = 0.007),論文のPatient(患者情報・患者の抱える問題点),Intervention(介入・新規治療),Comparison(比較・現在の治療),Outcome(介入と比較の結果となる指標)の抽出(問題2,Pre:13%,Post:48%,p = 0.005),文献データベース(DB)未登録データの検索範囲(問題4,Pre:42%,Post:87%,p < 0.001),検索論文の評価体制(問題5,Pre:23%,Post:52%,p = 0.034),異質性・出版バイアスの判断(問題7,Pre:19%,Post:48%,p = 0.015),統合結果の判断(問題8,Pre:29%,Post:81%,p < 0.001),サブグループ解析結果の判断(問題9,Pre:48%,Post:87%,p = 0.001)の7項目であった.さらに,文献DBの検索範囲(問題3,Pre:32%,Post:52%,p = 0.198)の得点率は向上傾向にあった.一方,採用論文の評価基準(問題6,Pre:7%,Post:10%,p = 1.00)は,受講後と受講前でほとんど変化がなかった(表1).

表1 プレ・ポストテストの結果
項 目 n プレ ポスト p値
総合得点
 全体 31 2.29(1.64) 5.16(1.55) <0.001a
 薬剤師・歯科医師 20 2.50(1.40) 5.35(1.53) <0.001a
 薬学生 11 1.90(1.67) 4.82(1.45) 0.001a
 WS参加回数0–1回 21 2.05(1.67) 5.00(1.45) <0.001a
 WS参加回数2回以上 10 2.72(1.56) 5.45(1.75) <0.001a
設問別(全体)
 Q1.SRの概要 31 5(16%) 16(52%) 0.007b
 Q2.論文のPICO 31 4(13%) 15(48%) 0.005b
 Q3.文献DB検索範囲 31 10(32%) 16(52%) 0.198b
 Q4.文献DB未登録データの検索範囲 31 13(42%) 27(87%) <0.001b
 Q5.検索論文の評価体制 31 7(23%) 16(52%) 0.034b
 Q6.採用論文の評価基準 31 2(7%) 3(10%) 1.00b
 Q7.異質性・出版バイアスの判断 31 6(19%) 15(48%) 0.015b
 Q8.統合結果の判断 31 9(29%) 25(81%) <0.001b
 Q9.サブグループ解析の判断 31 15(48%) 27(87%) 0.001b

a)Wilcoxon signed-rank test;b)Fisher’s exact test

2.アンケートによる受講者の意識およびワークショップ内容の評価

解析対象者35名(解析率71%)の職種は,病院薬剤師14名(40%),薬局薬剤師10名(28%),薬系大学教員1名(3%),その他の薬剤師1名(3%),薬学生8名(23%),歯科医師1名(3%)であった.受講後アンケートの単純集計結果の平均値と人数分布を図3に示す.実臨床におけるEBMの5 stepsの実践可能性について受講者の意識を問う質問(Q2~6)は5項目中4項目で平均値は4以上であった.さらに,ワークショップに対する理解満足度(Q7~17)は,11問全てにおいて平均値が4以上であった.

図3

受講者アンケート項目と結果

考察

ワークショップ開始前(プレテスト)とワークショップ終了時(ポストテスト)のSR論文の評価に必要な知識修得度確認試験の平均点はポストテストで有意に上昇した.この結果から,本研究の第1の目的である受講者のSR論文評価に必要な知識習得度がワークショップの学習により向上したことが示された.さらに,設問別においては9問中7問で正答率が有意に上昇した(表1).このうちの5問(問題1,2,4,5,7)は,米国の臨床研修医に対する短時間(30分×3日)の小グループ討論方式によるSR論文の評価に関する学習会受講後の確認試験で正答率が向上した内容と同様であった12).さらに,SR論文の結果の判断能力を確認した2問(表1,問題8,9)の受講後の正答率も受講前に比べ向上した.過去の医学論文評価の学習会の実践報告において,p値や95%信頼区間はプレテストの段階で研修医,薬剤師,薬学生が知識を有していることが報告されていることから5,6,13),本研究の対象者も,ワークショップ前から知識を有しており,ワークショップにおいてSR論文の結果のフォレストプロット図の構成を学んだことで結果の判断に対する理解が進み,正答率が向上したものと推測される.一方,採用論文の評価基準の設問では,正答者数が2名から3名とほとんど変わらなかった(表1,問題6).海外の研修医や歯学部学生を対象としたSR論文の評価能力測定に関する報告では,採用論文の評価基準に関する項目のコース受講後の正答率は80%以上を示している8,12).この差異の1つの可能性として,本ワークショップの学習において,受講者が減少バイアス,検出バイアスなどの具体的内容を理解できていなかったため,バイアス内容を具体的な記述にした受講後の確認試験の正答率が著しく悪かったと考えられる.このため,バイアスの評価についての講義内容やチューター指導の部分を改善する必要がある.

さらに,ワークショップ受講後の理解満足度(Q7~17)では,すべての項目で平均値が4以上と高い満足度であった(図3).特に,臨床疑問の定式化に関連する質問(Q8,9)の平均値が共に4.57と全質問中で最も高い値を示した.PICOに関連する項目は,過去の報告でも学習前後で理解満足度が最も向上した項目であり5),本研究においても同様の傾向を示したものと考えられる.一方,英語に対する抵抗軽減(Q7)および批判的吟味に用いた論文の理解(Q12)の平均値が全質問中では低い傾向にあり,一部の受講者が英語に対する抵抗が拭えないことや批判的吟味に用いたSR論文の内容を理解しきれなかったことが示唆された.英語への抵抗に対しては,既報において,論文に出現する医療英単語の事前学習と試験を実施し受講者に単語学習を行わせることで英語への抵抗が軽減するとの報告がある6).そこで,ワークショップの事前学習で対象論文の病態に関係する英単語学習を組み入れることにより英語への抵抗を軽減することを検討する.批判的吟味に用いた論文の理解が不十分と受講者が感じた要因として,先に述べたバイアスの評価(表1,問題6)だけでなくポストテストでの正答率が48%(表1,問題2)であった論文のPICOを抽出する点が予想される.PICOの抽出の中でも英文を精読する必要がある患者背景の部分については,チェックリストを用いてキーワードだけを見つける方法で終わらせないようにする.具体的には,仮想症例シナリオの患者に論文情報が適用できるかについて,詳細な参入・除外基準までを読んだ上で,参加者同士で議論して適用可能かどうかを判断するようにすることで論文内容に対する理解がより深まるものと考えている.ワークショップ受講後の実臨床におけるEBMの実践可能性の各項目(Q2~6)の平均値は情報検索の実践可能性(Q3)以外の4項目で4以上であった(図3).情報検索の実践可能性の平均値が3.82と他の4項目に比べ低かったのは,ワークショップで情報検索を行っていないためであると推測される.

本研究の限界点として,1点目は,知識習得度確認試験のおよびアンケートの解析率がそれぞれ63%,71%であったことから,未提出者に低得点もしくは低評価の受講者が多く含まれていた可能性がある.2点目として,受講者は少なからずEBMやSR論文の評価に興味を持っている集団であると考えられ,薬剤師・薬学生全体の意見を反映していない点である.

本研究により,SR論文の評価と活用を志向したワークショップは受講者のSR論文の評価に対する知識習得度の向上およびEBMの実践可能性に対する意識づけに寄与したものと考えられる.今後の研究課題として,ワークショップの理解満足度と知識習得度確認試験結果との相関を調査し,ワークショップ内容が受講者にミスリードを与えていないかを確認する必要がある.さらに,ワークショップ受講者が,受講後にEBMを実践して処方提案に活用しているのかについての調査を行い,ワークショップの受講が受講者の行動変容にどのように影響するかについて検証していきたいと考えている.

謝辞

本研究は,兵庫医療大学教育助成金および財団法人北野生涯教育振興会研究助成金により実施されたものである.本研究における統計解析について,有益なご助言等を賜りました志方敏幸博士(兵庫医科大学ささやま医療センター)に感謝いたします.

利益相反:発表内容に関連し,開示すべき利益相反はない.

文献
 
© 2019 Japan Society for Pharmaceutical Education
feedback
Top