주요 메시지
의료 분야에서 감사와 피드백(audit and feedback)은 보건의료인의 수행을 전문기준에 비추어 평가하는 과정(감사)이다. 그다음 해당 보건의료인에게 이러한 비교 결과를 알려주는 것(피드백)이며, 이를 통해 수행이 개선되기를 기대한다.
감사와 피드백은 보건의료인의 수행을 약간에서 중간 정도까지 개선하는 데 도움이 된다. 특히 최고 수행자와 비교하여 본인의 위치를 보여주고, 개선이 필요한 중요한 부분에 초점을 맞추며, 변화를 위한 구체적인 조언을 포함할 때 가장 효과적이다. 또한 알림이나 추가 교육과 같은 다른 지원과 함께 제공될 때 더욱 도움이 될 수 있다.
앞으로의 연구는 감사와 피드백 중재를 가장 효과적으로 개선할 수 있는 방법을 찾는 데 초점을 맞추어야 한다.
보건의료에서 감사 및 피드백이란?
감사와 피드백은 보건의료인의 수행을 개선하기 위해 의료기관에서 흔히 사용하는 방법이다. 감사와 피드백 과정에서는 먼저 보건의료인의 전문적 실무나 수행을 측정하고, 이를 전문기준이나 목표와 비교한다. 다시 말해, 그들의 전문적 수행이 ‘감사’되는 것이다. 이후 ‘피드백’ 단계에서, 이러한 비교 결과를 보건의료인에게 전달한다. 이 과정의 목적은 보건의료인이 기준을 더 잘 따를 수 있도록 행동을 취하거나 변화를 이루도록 돕는 것이다.
연구방법
우리는 보건의료인이 감사와 피드백을 받도록 무작위로 배정되고, 전문적 실무에 대한 결과가 측정된 모든 연구를 검색하였다.
연구결과
총 292개 연구가 포함되었다. 감사와 피드백은 교육 모임이나 알림과 같은 진료의 질 개선 전략과 함께 사용되는 경우가 많았다. 대부분의 연구는 감사와 피드백이 의사의 수행에 미치는 효과를 측정했지만, 일부 연구에서는 간호사나 약사에 대한 효과를 평가했다. 감사와 피드백은 처방 치료의 적절한 사용이나 검사 의뢰와 같은 다양한 영역에서 수행을 변화시키기 위해 사용되었다.
감사 및 피드백이 제공되는 방식은 연구마다 매우 다양했다. 피드백은 구두로 제공되기도 하고, 문서 형태로 제공되기도 했으며, 전자 대시보드나 여러 전달 방식을 함께 사용하기도 했다. 어떤 연구에서는 보건의료인이 구두로 피드백을 받았고, 다른 연구에서는 서면, 전자 대시보드, 또는 여러 방법을 결합해 제공되었다. 일부 연구에서는 피드백이 연구를 수행한 연구자들에 의해 제공되었고, 다른 연구에서는 감독자나 동료가 피드백을 제공했다. 또한 피드백이 한 번만 제공된 연구도 있었고, 월별로 제공된 연구도 있었다. 일부 연구에서는 보건의료인에게 수행을 개선할 수 있는 방안이나 조언이 포함된 실행 계획을 제공하거나, 이를 마련하도록 지원했다.
주요 결과 보건의료인이 감사를 받고 피드백을 제공받으면 어떤 일이 일어나는가?
감사와 피드백을 사용한 효과는 포함된 연구들에서 매우 다양하게 나타났으나, 대체로 진료의 질에서 작은 수준에서 중간 정도의 향상이 관찰되었다.
감사와 피드백은 수혜자가 자신의 수행이 높은 수행을 보이는 동료와 어떻게 비교되는지 확인할 수 있을 때, 임상적으로 우선순위가 높은 사항을 식별하고 이에 대해 조치를 취하도록 돕는 경우, 그리고 보건의료인이 개선의 여지가 큰 영역에 초점을 맞출 때 가장 효과적일 수 있다. 또한 감사와 피드백이 더 큰 효과와 관련되는 요소로는, 팀이나 조직이 아니라 수혜자 개인의 실무를 측정하는 방식일 때, 수혜자와 기존 관계가 있는 존중받는 동료에게서 제공될 때, 구두·서면 등 다양한 방식이 함께 포함될 때, 그리고 개선을 위한 조언이 포함된 실행 계획을 제공할 때 등이 있다.
아울러 감사와 피드백의 효과는 교육이나 알림과 같은, 진료의 질 향상을 지원하는 다른 전략과 결합될 때 달라질 수 있다.
근거의 한계
근거에 대한 확신은 중간 정도이며, 다양한 상황에서 가장 큰 효과를 낼 가능성이 있는 감사와 피드백의 요소를 확인하기 위해서는 추가 연구가 필요하다.
근거의 최신성
이 리뷰는 이전 리뷰의 업데이트다. 근거는 2020년 6월까지 검색했다.
Read the full abstract
감사 및 피드백(A&F)은 전문적 진료 수행을 향상시키기 위해 사용되는 전략이다. 이는 의료 전문가들이 자신의 임상 진료가 목표와 일치하지 않는다는 데이터를 접했을 때, 어떻게 진료 행태를 수정하도록 유도되는지를 설명하는 선행 코크란 리뷰와 행동 이론들에 의해 뒷받침된다. 그러나 감사 및 피드백(A&F)이 임상 진료 개선에 미치는 효과와, 더 큰 효과를 이끌어내는 A&F의 특성들에 대해서는 여전히 불확실성이 존재합니다.
목적
이 연구는 A&F가 의료 전문가의 진료 수행에 미치는 효과를 평가하고 A&F 효과의 차이를 설명할 수 있는 요인을 검토하는 것이다.
검색 전략
Cochrane Effective Practice and Organisation of Care(EPOC) 그룹의 정보 전문가와 협력하여, 2010년부터 2020년 6월까지 출판된 연구를 포함하도록 검색 전략을 업데이트하였다. 검색 업데이트는 2019년 2월 28일과 2020년 6월 11일에 수행되었다. MEDLINE(Ovid), Embase(Ovid), CINAHL(EBSCO), Cochrane Library, clinicaltrials.gov(모든 연도~2020년 6월), WHO ICTRP(모든 연도~2019년 2월 3주차; 2020년은 COVID-19로 인해 정보 없음)를 검색하였다. 2022년 2월 14일에 추가 검색과 중복 확인을 완료하였으며, 포함 기준을 충족한 연구는 ‘분류 대기 연구(Studies awaiting classification)’에 포함하였다.
선정 기준
객관적으로 측정된 보건의료 전문가의 수행 결과(practice outcomes)를 보고하면서, 연구의 어떤 배정군(trial arm)에서든 '감사 및 피드백(A&F)'을 중재로 포함하는 무작위 배정 연구(군집 무작위, 교차, 요인 설계 포함)를 포함하였다.
자료 수집 및 분석
본 업데이트된 리뷰에서는 각 연구군에 대해 자료를 다시 추출했으며, A&F가 어떻게 수행되었는지에 대한 이론 기반 변수와 각 중재에서 사용된 행동 변화 기법, 그리고 연구 수준의 특성(비뚤림 위험 등)도 포함하였다. 각 연구에서 A&F가 목표로 한 모든 의료 전문가 진료 수행 결과를 추출하였다. 모든 자료는 최소 두 명의 독립적인 검토자가 추출하였다.
이분형 결과를 가진 연구에서 A&F를 포함한 군과 포함하지 않은 군을 비교할 때, 연구군 간 바람직한 진료 수행 비율의 절대 차이(risk difference, RD)와 승산비(odds ratio, OR)를 산출하였다. 이후 모든 연구의 median RD와 사분위범위(IQR)를 합성하였다. 메타분석에서는 하나의 연구 내 여러 결과를 고려하고 효과적 표본 크기에 따라 가중치를 적용하였으며, 보고된(혹은 필요 시 추정된) 군집 내 상관계수(ICC)를 적용하였다. 이어서 기저 수행 수준, 공동중재(co-interventions), 목표 행동, 연구 설계 요인이 A&F 효과에 어떤 영향을 미치는지 탐색하였다. 마지막으로 사전 선정된 변수가 A&F 효과 크기와 관련되는지를 검정하기 위한 탐색적 메타회귀(meta-regression)분석을 수행하였다. 여기에는 감사 의 특성(지표 수, 데이터 집계 수준), 피드백 전달 방식(다양한 전달 방식, 지역 챔피언의 개입, 비교 기준의 유형, 반복 제공 여부), 행동 촉진 요소(촉진자 참여, 구체적 개선 계획 제공, 공동 계획 수립 여부)가 포함되었다.
주요 결과
총 292개 연구(678개 연구군)가 포함되었으며, 이 중 133건(46%)은 비뚤림 위험이 낮고, 41건(14%)은 불확실, 113건(39%)은 비뚤림 위험이 높은 것으로 평가되었다. 26건(9%)은 저·중소득국에서 수행되었다. 대부분의 연구(237건, 81%)에서 A&F 수혜자는 의사였다. 가장 흔히 목표가 된 진료 행위는 처방(138건, 47%)과 검사 의뢰(103건, 35%)였다. 대부분의 연구는 다요소 중재를 포함했으며, 가장 흔한 공동중재는 임상의 교육(377 연구군, 56%)과 알림(reminders)(100 연구군, 15%)이었다. 연구군에서는 총 48개의 고유한 행동 변화 기법이 확인되었으며, 평균 5.2개(표준편차 2.8, 범위 1~29개)가 사용되었다.
A&F와 대조군을 비교한 177개 연구의 558개 이분형 진료 수행 결과를 합성한 결과, 바람직한 진료 수행의 절대 개선 정도는 중간값 2.7%(IQR 0.0~8.6)이었다. 연구 내 다중 결과를 고려하고 군집화를 반영한 효과적 표본 크기로 가중한 메타분석에서는, 바람직한 진료 수행이 평균 6.2% 증가한 것으로 나타났다(95% 신뢰구간 4.1~8.2; 근거의 확실성이 보통임). OR은 1.47이었다(95% CI 1.31~1.64; 근거의 확실성이 보통임). 처방과 검사 의뢰를 대상으로 한 사전 계획된 하위군 분석에서도 효과는 유사했다. 기저 수행 수준이 낮을수록, 그리고 공동중재 개수가 많을수록 중재 효과는 더 컸다.
기저 성과(baseline performance)와 병용 중재(co-interventions)의 수를 보정하여 특정 A&F 구성요소의 유무에 따른 이질성(heterogeneity)을 탐색한 메타 회귀분석 결과, 다음과 같은 경우에 A&F의 효과가 더 큰 것으로 나타났습니다. 감사 지표의 개수, 모든 동료의 평균과의 비교, 공동 행동 계획 수립 여부는 유의한 영향을 보이지 않았다. 예상과 달리 피드백을 반복 제공하는 경우 효과 크기는 더 작았다. 직접 비교(head-to-head) 시험에서 얻은 결과는, 동료 비교를 전혀 하지 않는 것과 비교할 때 동료 비교를 사용하는 것이 유용하며, 임상적으로 우선순위가 높은 항목을 식별하고 조치할 수 있게 돕는 설계 요소를 피드백에 포함하는 것이 효과적이라는 점을 뒷받침한다.
연구진 결론
A&F는 전문적 진료 수행을 개선하는 데 효과가 있을 수 있으나, 효과의 크기는 다양하다. A&F는 대체로 여러 공동중재와 함께 제공되어 추가적인 효과를 낼 수 있다. A&F는 수혜자가 중요하고 우선순위가 높은 임상 문제를 파악하고 조치를 취하도록 돕도록 설계되었을 때 가장 효과적일 가능성이 있으며, 다음과 같은 특성을 포함할 때 효과가 더 클 수 있다.
1. 의료 전문가가 개선할 여지가 큰 중요한 수행 지표를 목표로 하는 경우(audit)
2. 조직이나 팀이 아닌 개인 수혜자의 수행을 측정하는 경우( audit )
3. 수혜자와 기존 관계가 있는 지역 챔피언이 참여하는 경우( feedback )
4. 구두 및 서면 등 여러 상호작용적 전달 방식을 포함하는 경우( feedback )
5. 최고 수행자 또는 기준치와 비교하는 경우( feedback )
6. 피드백에 대한 참여를 촉진하는 요소가 포함되는 경우( action )
7. 구체적 개선 조언을 포함한 실행 가능한 계획이 있는 경우( action )
이러한 결론은 추가적인 확인 연구가 필요하며, 향후 연구는 A&F 중재의 효과를 최적화할 수 있는 방법을 규명하는 데 초점을 두어야 한다.
위 내용은 한국코크란에서 번역하였다.
