Competence evaluation and improvement of internal audits in ISO 15189

Abstract

【はじめに】ISO 15189認定を受けた検査室にとって，「質の高い」内部監査が非常に重要である。それを実現するためには，内部監査を行う人員の力量は重要な要因の1つである。長年ISO 15189を運用する中で力量低下が問題となり，その対策として現状把握，及び対策後の力量評価を実施したため報告する。【方法】現状把握として2018年度時点で，力量が認定されていた主任監査員21名の力量評価を行った。2019年度以降，監査の主体的役割を内部監査委員が担うこととし，前半・後半の2回の監査において同様に評価を行った。得られた結果に対して統計学的検討も行った。【成績・結果】主任監査員の力量評価の結果，平均41.4点，変動係数（CV%）は約26%で，高得点者は3名（約14.3%）であった。内部監査委員の前半では，平均49.1点，CV%も約13%と改善がみられた。高得点者は1名（約11.1%）であった。後半の力量評価では，平均55.7点で，高得点者は5名（約56.6%）であった。統計学的検討にて有意差も認めた。【結論】内部監査を行う者の力量について，独自の評価シートを用いて評価を行った。結果を分析して対策を講じることにより，力量の向上に繋がった。今後も運用を継続しながら評価項目等をアップデートし，より質の高い内部監査を安定的に実施できるよう取り組んでいきたい。

Translated Abstract

[Introduction] For ISO 15189-accredited laboratories, “high-quality” internal audits are very important. The competence of the personnel conducting the internal audits is an important factor; however, declining competence has become a problem. This report describes an analysis of the current status of internal audits and an evaluation of competence after the implementation of countermeasures. [Methods] From FY2019 onward internal audit committee members have played a leading role in auditing. To understand the current level of competence, we performed a statistical analysis that compared evaluations of lead auditors whose competence had been certified in FY2018 to committee members certified from FY2019 onward. We conducted the same evaluation in the first half and the second half of the two audits for the committee members. [Results] We found that the average score of the lead auditors was 41.4 and CV% was about 26%. In the evaluation of the first half of the internal audit, the committee members had improved average score (49.1) and CV% (about 13%). Moreover, one member (11.1%) had a high score. In the second half, the average score was 55.7, and five committee members (about 56.6%) had a high score. The results showed a significant difference. [Conclusion] By analyzing the results of competence and taking countermeasures, we were able to improve the competence of committee members. We will continue to carry out internal audits and improve quality consistently through continuous practice by updating evaluation criteria.

I　 はじめに

ISO 15189は，臨床検査室の品質と能力に関する特定要求事項であり，これを基に公益財団法人 日本適合性認定協会（Japan Accreditation Board; JAB）にて臨床検査室認定が行われている¹⁾。

このISO 15189の要求事項において，計画的な内部監査の実施が求められている。内部監査には，検査室がISO 15189の要求事項を満たしているかどうかをチェックすると共に，発見された不適合に対して是正処置を行う役割がある。つまり，内部監査はいわば検査室における自浄作用であり，検査部員が自らの知識・経験をもって検査室を改善する仕組みとも言える。

このため，ISO 15189認定を受けた検査室にとって，内部監査はQuality Management System（以下，QMS）を維持・管理していく上で非常に重要であり，その根幹を成すものである。言い換えれば，効果的なQMSを達成するためには，「質の高い」内部監査が必要不可欠となる。しかし，「質の高い」内部監査を実施するためには，内部監査を実施する人員におけるISO 15189要求事項の理解や内部監査の経験（ヒアリング技術，監査時の下調べ）などが必要であり，時間・労力のかかるものである。さらにそれを維持・管理するためには，人材育成などの労力も必要となる。

我々の検査室も2009年にISO 15189認定を取得以降，内部監査を継続して実施してきた中で，様々な問題に直面し，それに対処してきた。特に，内部監査を行う人員の力量低下が大きな問題となり，その対策として現状把握，及び対策後の力量評価について報告するとともに，内部監査の運用の変化についても報告する。

II　 方法

1． 現状把握

2018年度までは，内部監査について教育を受け，少なくとも内部監査を2回以上経験後，品質管理者による力量評価で8割以上の評価を受けた者が主任監査員となり，各監査チームにおいて主体的に内部監査を行っていた。

2018年度時点での主任監査員21名の力量評価を行った。力量を可視化するために内部監査に特化した力量評価シート（Figure 1）を作成し，力量の数値化を行った。

Figure 1　 内部監査力量評価シート

内部監査実施者の力量を適切に把握することを目的として，力量を可視化・定量化するために，内部監査力量チェックシートを独自に作成した。事前打ち合わせと監査当日の2つの観点から，監査に対する準備や項番内容の理解，監査における受け答えなどを評価項目とし，重み付けして点数化した。また，その他の点に関しては備考欄に記載し，評価者判断により±5点の範囲で評価した。内部監査員としての力量に対する判定としては，総点数70点中7割以上の得点を目安とした。

2． 対策・効果の確認

2019年度より，内部監査委員会のメンバー（以下，内部監査委員）が主任監査員の役割を担うこととなった。

内部監査委員9名についても，1．現状把握 と同様，力量評価シートを使用して前半・後半の2回の監査において評価を行った。前半の監査終了後，各内部監査委員に対して改善点のフィードバックを行った。また，前半・後半の評価の差の視認性を高めるため，レーダーチャートを用いて結果を表示した。

3． 統計学的検討

2018年度の結果と2019年度前半の監査での結果に対して，Mann-WhitneyのU検定を行った。また，2019年度前半・後半の監査での結果に対してWilcoxon検定を行った。

III　 成績・結果

1． 現状把握

主任監査員21名の力量評価結果を示す（Figure 2, Table 1）。70点満点中，最高64点，最低27点，平均41.4点となった。全体の変動係数（CV%）は約26%であり，個人の力量にバラツキが非常に大きく，21名中8名が半分以下の得点（35点以下）であった。8割以上の得点となった者は3名（約14.3%）であった。

Figure 2　 2018年度時点での主任監査員に対する力量評価結果

Table 1 2018年度時点での主任監査員に対する力量評価結果一覧

	主任監査員	総合点数
1	A	64
2	B	59
3	C	57
4	D	50
5	E	50
6	F	49
7	G	45
8	H	44
9	I	44
10	J	44
11	K	41
12	L	41
13	M	37
14	N	35
15	O	35
16	P	32
17	Q	29
18	R	29
19	S	29
20	T	28
21	U	27
average		41.4
SD		10.6
CV%		25.5

2． 対策・効果の確認

内部監査委員9名の前半の力量評価結果を示す（Figure 3, 5, Table 2）。70点満点中，最高62点，最低37点，平均49.1点となった。1．現状把握における主任監査員21名の結果（Figure 2, Table 1）と比較して，平均点・最低点が増加し，半分以下の点数は0名となった。変動係数も約13%と改善がみられた。8割以上の得点者は1名（約11.1%）であった。

Figure 3　 2019年度前半時点での内部監査委員に対する力量評価結果

Table 2 2019年度前半時点での内部監査委員に対する力量評価結果一覧

	内部監査委員	総合点数
1	A	62
2	B	52
3	C	52
4	D	51
5	E	49
6	F	47
7	G	47
8	H	45
9	I	37
average		49.1
SD		6.3
CV%		12.9

内部監査委員9名の後半の力量評価結果を示す（Figure 4, 5, Table 3）。70点満点中，最高65点，最低46点，平均55.7点となった。前半の結果からさらに平均点・最低点が増加し，全員が6割以上の得点となった。変動係数は約13%であり，前半の結果と大きな差は認められなかったが，8割以上の得点者は5名（約56.6%）と増加していた。

Figure 4　 2019年度後半時点での内部監査委員に対する力量評価結果

Figure 5　 2019年度前半・後半の内部監査委員に対する力量評価結果のレーダーチャート

Table 3 2019年度後半時点での内部監査委員に対する力量評価結果一覧

	内部監査委員	総合点数
1	A	65
2	H	63
3	B	63
4	E	60
5	C	59
6	F	50
7	D	48
8	I	47
9	G	46
average		55.7
SD		7.3
CV%		13.2

また，内部監査委員の中でも，前半と比較し後半で得点が大きく伸びている者（例：内部監査委員H 45→63）もいる中で，ほとんど得点が変化しなかった者（例：内部監査委員G 47→46）も認められた。

3． 統計学的検討

2018年度の結果と2019年度前半の監査での結果に対するMann-WhitneyのU検定により，p < 0.05となり，統計学的有意差を認めた。

また，2019年度前半・後半の監査での結果に対する Wilcoxon検定により，p < 0.05となり，統計学的有意差を認めた。

IV　 考察

2018年度までの内部監査の運用としては，スタッフ全員の関心を高めることなどを想定し，ほぼ全スタッフが関わるような形を取っていた。しかし，一度主任監査員として認定をされて以降の教育などは十分に行われておらず，その力量低下が懸念されたことから，独自に評価シートを作成し，それを用いて力量評価を行うこととした。その結果，2018年度時点での主任監査員の力量において非常にバラツキが大きく，力量も十分とは言えない者が多い状態であることが明らかとなった（Figure 2, Table 1）。この結果を踏まえ，早急に内部監査を立て直す必要があると判断し，力量の高い少数メンバーによる運用に切り替えることとした。2019年度以降は，この少数メンバーを内部監査委員とし，主任監査員の役割を担うことで内部監査の質を向上させることを目的として委員会再編を行った。また，力量評価を行った後，品質管理者を主体として改善点をフィードバックする運用とした。その結果，2019年度前半の監査において，バラツキの改善が認められたとともに，2018年度の結果と比較して有意に力量が向上していた（Figure 3, 5, Table 2）。これらの結果から，変更した運用が有効であると判断し，継続することとした。

その後の2019年度後半の力量評価では，バラツキに変化はなかったものの，平均点の向上・高得点者の増加が認められるとともに，2019年度の前半結果と比較して有意な力量向上も確認できた（Figure 4, 5, Table 3）。全体的に内部監査委員の力量は向上し，有効な運用となっていると考えられる。現在まで同運用を継続しており，良好に運用できている。一方で，内部監査委員ごとに結果を見てみると，得点増加には個人差も認められる（Figure 3, 4, Table 2, 3）。改善が乏しかったメンバーに着目すると，「適切な受け答え」や「適切な指摘内容」といった項目において得点の改善に乏しかった。評価者のコメントなどを振り返ると，個人の経験を基にした主観的な監査であったことや思い込みが要因として考えられた。内部監査委員の適性の見極めやフィードバック・教育の改善に加え，力量評価シートの内容見直し等も今後の課題である。

内部監査の質を維持していくためにも，定期的な力量評価と適切なフィードバック・教育を行いながら，PDCAを回して取り組んでいきたい。

V　 結語

内部監査を行う者の力量について，独自の評価シートを用いて評価を行った。結果を分析して対策を講じることにより，力量の向上に繋がった。今後も運用を継続しながら評価項目等をアップデートし，より質の高い内部監査を安定的に実施できるよう取り組んでいきたい。

本内容の要旨に関しては，第70回 日本医学検査学会にて報告した。

COI開示

本論文に関連し，開示すべきCOI 状態にある企業等はありません。

謝辞

本取り組みにご協力頂いた検査室スタッフの皆様に感謝致します。

文献

• 1)  （公財）日本適合性認定協会 Japan Accreditation Board．https://www.jab.or.jp/（2023年9月3日アクセス）