Korean
KOFIH를 읽다
KOFIH 브리핑
더 나은 사업을 위한 KOFIH의 노력
사업의 평가, 학습 그리고 교육

재단의 사업은 체계적인 과정 속에서 진행된다. 기획은 전략에 따라 면밀한 검토 속에 이뤄지고, 사업 수행 역시 최상의 성과와 효과를 내기 위한 준비과정인 타당성조사, 형성조사 후에 진행된다. 그리고 이러한 재단의 모든 사업은 모니터링과 평가를 통해 더욱 내실 있는 사업으로 거듭나게 된다.

- 글. 김순애 센터장(연구교육혁신센터) 사진. 한국국제보건의료재단
재단 사업의 모니터링과 평가

재단은 재단법에서 명시한 목적 사업을 수행해오고 있다. 그중에서도 공적개발원조(Official Development Assistance;ODA) 사업 규모가 지속적으로 확대되어 재단은 국내에서 명실상부한 보건의료전문 국제개발협력사업을 수행하는 기관으로 굳건하게 자리 잡았다. 재단의 사업은 사업을 기획(Planning)하고 수행(Implementing)하면서 모니터링과 평가(Monitoring & Evaluation)를 거친다. 이를 통해 기획단계에서 설정한 목표 달성을 돌아보고, 성공과 실패 요인을 확인한다. 이는 매우 중요한 학습(Learning)의 과정이며, 이 과정은 순환(Cycle)된다. 1990년대 이후 도입된 ‘근거기반의학(Evidence-Based Medicine;EBM)’의 개념은 보건사업관리 분야에도 널리 적용되고 있다.

근거(Evidence) 또는 결과(Result)는 사업관리의 전체 과정을 아우르면서 생성되며 이는 보건사업을 수행하는 재단의 모든 사업에 적합한 틀(Frame)이 된다. ODA 사업을 기획하는 과정에서 프로젝트 디자인 매트릭스(Project Design Matrix;PDM)를 구성하고 이에 따른 지표(Indicator)를 정하며 목표치를 설정하는 일련의 과정은 우리나라 개발협력분야에서는 널리 활용되는 프로세스이다. PDM은 로직 모델(Logic Model), 변화이론(Theory of Change; TOC)을 적용하여 설명이 가능한데, 사업 목적(goal)에 해당하는 중장기 성과(Intermediate or long-term outcomes)와 단기성과(Short-term outcome)에 의해 목표(Objective) 달성으로 구현된다.

이를 위해 다양한 자원을 투입(Input)함으로써활동(Activity)이 결과물(Output)로 나타나며 이는 잘 짜인 모니터링 계획에 따라 사업의 전 과정에서 확인된다. 논리적인 접근을 통해 사업의 목표 달성을 확인하려면 기획 과정은 매우 중요하다. 한편, 사업을 수행하는 동안 사업을 기획하고 진행 과정이 적절한지에 대한 과정평가(Process Evaluation)는 사업의 중간단계 평가로서 의미가 있다. 또한 사업의 종료시점에 진행하는 종료평가 역시 사업 효과성을 실증할 수 있다는 점에서 의미가 깊다. 이러한 여러 평가 과정을 통한 학습은 평가의 매우 중요한 순기능이자 핵심이다.

재단 사업이 변화 또는 발전함에 따라 유사 사업의 성공 및 실패요인을 통해 배우고, 유사사업 기획 시 활용하고, 실패 요인을 배제시키는 행위는 재단 직원들에게 학습이 내재화되는 과정이라 할 수 있다. 특히 환류(Feedback) 과정을 통해 개선된 사업을 수행하는 기획-수행-평가의 경험은 선형의 단절이 아니고 연결되는 사업관리순환(Project Management Cycle)의 과정이다.

재단의 사업평가는 어떻게 발전해왔을까?

2013년 국제개발협력사업 평가지침 및 매뉴얼이 개발되고 사업에 적용되면서 소수의 평가담당자가 진행하였으나, 하나의 부서로 독립 및 강화되어 왔다. 현재는 연구교육혁신센터 내 미래전략연구팀에서 그 업무를 담당하고 있다. 그리고 2010년 이후 전략연구팀은 중간평가, 종료평가, 사후평가를 35건을 수행하였다(’21년 기준). ODA 수행체계상 국무조정실 개발협력위원회에는 ‘개발협력실무위원회’와 ‘평가전문위원회’가 있어 우리나라 개발협력의 주요사항을 심의하고 의결한다. ‘평가전문위원회’에서는 2012년부터 2년마다 ODA 사업수행기관의 평가보고서를 평가하는 ‘메타평가(Meta-evaluation)’를 진행하여 평가의 중요성과 품질향상을 제고하고 있다.

제1차 메타평가에서 재단은 ‘개선필요’의 결과를 받았으나, 제2차(’14년) ‘양호’, 제3차(’16년) ‘보통’과 ‘우수’, 그리고 4차(’18년)에는 32개 기관, 156건의 보고서 중에 최고 등급인 ‘우수’를 받았다. ’20년에도 역시 ‘우수’로 평가되었다. 이는 재단이 그간 평가를 위한 틀을 갖춘 활동들의 결과라고 할 수 있다. 또한 ODA를 수행하는 다양한 기관에 우수사례로서 ODA 평가 웨비나(’20년), 평가 교육과정(’20년) 등을 다수 발표한 바 있으며, 2010년 ODA 사업 수행 이후 평가연보를 발간하여 책무성과 투명성을 높이기 위한 노력을 지속하고 있다.

이러한 성장에도 불구하고 한계점은 있으나 이를 개선하기 위한 노력은 계속되어야 할 것이다. 모든 사업, 즉 프로젝트는 성공과 실패요인이 있으며 그 과정에서 근거 또는 결과가 도출되는데 잘 정리하는 과정은 다소 우선순위에 밀릴 수 있다. 재단도 사업기획과 수행과정을 모니터링하고 축적된 자료를 정리 및 분석하는 것에 아직은 부족한 부분이 있다. 특히, 외부평가의 경우, 현지 맥락(Local context)을 이해하고 사업을 기획 및 수행하는 과정을 이해해야 하지만, 외부자로서 완전하게 이해하는 데는 한계가 있고 자료를 수집하는 과정이 나라 또는 지역마다 다를 수밖에 없다.

또한 평가방법론으로 활용되는 정량적(Quantitative) 방법과 정성적(Qualitative) 방법이 맥락과 상황에 부합하도록 효과적으로 계획되고, 보건사업이 적은 예산으로 운영되는 소규모지역이라고 하더라도 보건의료체계에 미치는 영향 평가(Impact Evaluation)는 필히 고려해야 한다. 거시적 혹은 미시적 접근을 통해 적절한 평가를 하기 위해서는 자료의 수집과정과 분석, 활용이 지식관리(Knowledge Management)의 출발점이 된다고 생각한다. 기준을 마련하고 근거를 확보하여 객관적이고 합리적인 평가를 하려는 재단의 노력이 성과관리와 평가의 실적 부문에서 잘 나타날 수 있도록 연구교육혁신센터는 다양한 노력을 이어나갈 방침이다.