보건의료 전문직 교육에서 평가 > Emergency Medicine

한국 독자들을 위한 저자 서문

학습자 평가는 보건의료 전문직 교육에 핵심적인 부분이다. 평가를 통해 학습이 이루어지고 평가를 통해 학습자에게 중요한 피드백과 정보전달이 이루어진다. 또한, 환자안전을 담당하는 보건의료인의 자격과 증명은 평가를 통해 부여하게 된다. 이렇듯 보건의료 전문직 교육전 과정에 있어서 평가는 교육기관과 교육자들에게 막대한 책무를 지게 한다.

따라서 평가의 구성요소와 평가 방법을 이해하는 과정은 교육과정을 설계하는 데에 있어 필수적이다. 지난 수십 년간 의료기술 발전으로 인해 보건의료 전문직 교육도 다양해지고, 학습 방법에 대한 기대감도 사실 많이 높아졌다. 이에 따라서 보건의료 전문직 교육의 평가 방법도 더욱 복잡하고 다채로워지고 있다는 점에 주목할 필요가 있다. 수업 내 평가뿐만 아니라 시뮬레이션 평가는 물론, 임상 환경과 현장바탕평가 등 다면적인 평가를 요구하기 때문이다. 이러한 복잡한 요인이 존재하기에 평가 도구를 개발하고 관리하고 실행하는 작업에 상당한 주의와 전문적 지식이 필요한 것입니다. 또한 수많은 평가 전략과 통계 방법론이 일반적인 교육 환경에서 개발되어 오고 있는 것이 사실이다. 다만 보건의료 전문직 교육만의 고유한 특성이 존재한다. 예컨대 사례 특이성(case specificity) 등의 요소는 보건의료 전문직 교육 평가에 있어서 신뢰도 측정과 타당도 분석에 중요한 기반이 된다. 또한 역량바탕교육 방법과 평가 시스템 도입이 양질의 보건의료 전문직 교육 체계를 만들어 가는데 이때 평가의 역사와 시대적 흐름, 사회과학, 심리측정학 및 통계 방법 등에 관한 심층적 이해를 필요로 한다.

본 저서는 이러한 의료 계통의 특수성을 인지함에 해당 분야의 교육자, 학생 및 의료시스템에 참여하는 여러 이해관계자들에게 평가 방법론을 최대한 간단하고 현실적인 내용을 중심으로 소개하고자 집필되었다. 요컨대 집필의 본래 목적은 의료종사자들의 전반적인 평가 방법론 습득이라 하겠으며 더 나아가 평가 연구 분야의 전문가는 물론 교육 전반을 담당하는 선임 연구가들에게도 유용한 지침서를 제공해 주기 위함이다.

이러한 평가 방법을 국내 학습자들과 의료인들이 활용할 수 있게 해 주신 한국 의학교육계 여러 교수님과 전문가들의 노고에 깊이 감사드린다. 이 저서는 보건의료 전문직 교육 수업 교과서 혹은 참고서 용도로 기술되어 있다. 이미 여러 교육기관에서 수업 교재 및 교수개발 용도로 활용되어 오고 있기에 한국에서도 같은 방식으로 특히 대학원생을 위한 평가 방법론 교재로 활용되기를 기대한다. 나아가 본 자료가 한국 의료계 종사자와 연구진이 보건의료 전문직 교육을 더욱 발전시켜 나가는 데에 크게 기여할 수 있기를 바란다. 본 저서가 다루는 광범위한 개념들을 이해하는 작업을 통해 학습자와 연구자가 심층 연구와 지도를 수행하는 데에 많은 도움을 얻을 수 있으리라 확신한다.

궁극적으로는 다양한 교육자와 연구진들이 본 저서를 참고하는 수준을 넘어서서 현존하는 평가 구조의 문제점을 개선하고, 보다 혁신적인 방법으로 제시되는 평가 개념들을 실행해 나가기를 희망한다. 여타의 과학 분야와 마찬가지로 평가 방법론은 계속해서 의료계의 새로운 관점들과 시사점들을 수용해 나가고 있다. 이는 평가 타당도나 신뢰도와 같은 핵심 개념에도 적용된다. 그러므로 우리는 계속해서 능동적으로 최근 의료계 동향을 파악하고 평가 기준 골격을 이해하는 데에 힘써야 하겠다. 이러한 방식으로 체계적인 원리와 기본 도구에 바탕을 둔 최상의 평가도구 개발과 실행을 이룰 수 있으리라 생각한다.

다시 한 번 본 저서의 작업을 통해 좀 더 넓게 정보를 습득하고 활용할 수 있도록 힘써 주신 한국 의학교육계에 진심 어린 감사를 표한다. 모두가 힘을 모아 평가 방법론을 개발하여 교육 프로그램 학습력을 고취하고 궁극적으로는 환자 치료와 의료시스템을 발전시키는 데에 본 저서가 이바지할 수 있기를 바란다.

2023년 3월

하버드 대학교 의과대학 부교수

매사추세츠종합병원(MGH) 보건의료 전문직 교육 프로그램 겸임 교수

매사추세츠종합병원(MGH) 보건의료 전문직 교육 연구 디렉터

미국교육연구협회 부회장

박윤수

PART I: 평가의 기본

1. 보건의료 전문직 평가 서론

Rachel Yudkowsky, Yoon Soo Park, and Steven M. Downing

1. George Miller의 피라미드 모형

2. 네 가지 주요 평가 방법들

3. 내러티브 평가 및 포트폴리오

4. 일부 기본 용어 및 정의

5. 교육에서 중개 연구

6. 요약

2. 타당도와 질

Matthew Lineberry

1. 목적 중심 평가의 원칙

2. 목적 이해하기

3. 목적에 맞는 방법(목적에 방법 연결하기)

4. 타당도 조사, 질 평가

5. KANE의 타당도 틀: 타당도 논거

6. MESSICK의 타당도 틀: 근거의 출처

7. 평가 틀

8. 예방에 중점 두기: 타당도 위협 이해

9. 결론적 생각

3. 신뢰도 

Yoon Soo Park

1. 서론

2. 신뢰도에 대한 이론적 틀

3. 고전검사이론

4. 신뢰도 지수: 검사-기반 방법

5. 신뢰도 지수: 평정자

6. 측정의 표준오차(SEM)

7. 신뢰도를 높이는 방법

8. 요약

부록

1. 보충 - 합성 점수 및 합성 점수 신뢰도

2. 목표

3. 우리가 알고 있는 것

4. 일반화가능도 이론

Clarence D. Kreiter, Nikki L. Zaidi, Yoon Soo Park

1. 서론

2. 배경과 개요

3. 가상적인 평가 문제 - 예제

4. G연구모형 정의하기

5. G연구 결과 구하기

6. G연구 결과 해석하기

7. D연구 수행하기

8. D연구 해석하기

9. G모형과 D모형의 다양한 형태들

10. 비균형 모형들

11. 다변량 일반화가능도 이론

12. 추가적으로 고려할 점들

13. 마무리

부록

1. 일반화가능도 이론의 통계 기초

2. 결정연구의 통계 기초

3. Table 4-1 자료로 분산성분을 추정하기 위한 명령문

5. 검사의 통계치

Steven M. Downing, Dorthea Juul, Yoon Soo Park

1. 서론

2. 검사 점수의 사용

3. 상관과 축소화된 상관

4. 문항분석

5. 유용한 공식들

6. 요약

부록

1. 유용한 공식과 예제

2. 측정의 표준오차(SEM)

3. 스피어만-브라운 예측 공식(Spearman-Brown Prophecy Formula)

4. 축소화된 계수: 축소화의 교정

6. 준거 설정

Rachel Yudkowsky, Steven M. Downing, and Ara Tekian

1. 개요

2. 준거 설정을 위한 8가지 단계

3. 준거 설정에서 특별한 주제

4. 수행 기준을 설정하는 7가지 방법

5. 결론

6. 감사의 글

PART II: 평가 방법

7. 지필시험: 질 높은 구성형 문항 및 선택형 문항 만들기

Miguel Paniagua, Kimberly A. Swygert, and Steven M. Downing

1. 서론 

2. 지필시험을 이용한 평가

3. 구성형 및 선택형 문항 형식: 정의

4. 구성형 문항: 단답형과 장문형

5. 구성형 문항: 채점

6. 채점 루브릭

7. 구성형 문항의 사람 채점자

8. 구성형 문항의 컴퓨터 기반 채점

9. 구성형 문항: 점수의 타당도에 대한 위협

10. 선택형 문항

11. 선택형 문항 형식: MCQ 작성을 위한 일반 지침

12. 선택형 문항 형식: 흔한 MCQ 결함 제거하기

13. 선택형 문항 형식: MCQ 답가지 수

14. 선택형 문항 형식: MCQ 채점 방법

15. 선택형 문항 형식: 비MCQ 형식

16. 요약 및 결론

8. 구술평가

Dorthea Juul, Rachel Yudkowsky, and Ara Tekian

1. 전 세계의 구술평가 활용 현황

2. 구술평가의 타당도에 대한 위협

3. 구조화 구술평가

4. 채점 및 준거 설정

5. 수험생의 준비

6. 평가자 선발, 훈련 및 평가

7. 질 보장

8. 평가 후

9. 비용

10. 요약

9. 수행평가

Rachel Yudkowsky

1. 수행평가의 강점

2. 시험의 목적 정의

3. 표준화환자

4. 수행 채점하기

5. 훈련

6. 사례의 시범 시험

7. 다중 스테이션 수행평가: 객관구조화진료시험

8. OSCE 채점하기: 여러 스테이션의 점수 합산

9. 준거 설정

10. 실행 계획

11. 수행평가의 타당도에 대한 위협

12. 결과적 타당도: 교육적 영향

13. 결론

10. 현장바탕평가

Mary E. McBride, Mark D. Adler, and William C. McGaghie

1. 현장바탕평가

2. 역량바탕의학교육

3. 출제 계획

4. 현장바탕평가

5. 평가 관리

6. 평가 자료의 이해

7. 요약 그리고 전망

11. 내러티브 평가

Nancy Dudek and David Cook

1. 내러티브 평가 도구

2. 강점

3. 내러티브 평가 사용의 실용적인 이슈들

4. 내러티브 평가의 타당도 평가

5. 요약

12. 평가 포트폴리오

Daniel J. Schumacher, Ara Tekian, and Rachel Yudkowsky

1. 포트폴리오 설계

2. 포트폴리오의 형성적 목적: 학습자 주도, 멘토 지지

3. 포트폴리오에서 멘토의 중요성-평생학습 촉진

4. 포트폴리오의 총괄적 목적: 학습자 주도, 감독자 평가

5. 타당도 위협 해결하기

6. 포트폴리오 사용의 잠재적 문제

7. 예시

8. 요약

PART III: 특별 주제

13. 주요 특징 접근 방법

Georges Bordage and Gordon Page

1. KF 문제의 선택

2. KF 정의

3. KF 시험 자료 준비

4. 응답 형식

5. 채점

6. KF 시험 점수

7. 구인 과소 대표성

8. 구인무관변량

9. 감사의 글

14. 평가에서 시뮬레이션

Luke A. Devine, William C. McGaghie, and Barry Issenberg

1. 개요

2. 시뮬레이션은 무엇이고 왜 사용하는가?

3. 평가에서 시뮬레이션은 언제 사용하는가?

4. 평가에서 시뮬레이션을 사용하는 방법

5. 시뮬레이션 바탕 평가의 타당도에 대한 위협

6. 교수 개발 필요성

7. 결과와 교육적 효과

8. 결론

15. 상황판단검사

Harold I. Reiter and Christopher Roberts

1. 프롤로그

2. 연습 15.1

3. 연습 15.2

4. 보건의료 전문직 교육에서 평가를 위한 SJT 개발의 최근 역사

5. SJT의 주요 구성 요소 및 원하는 성과 정의

6. 상황판단검사 설계

7. 연습에 대한 답변 15.2

8. 에필로그

16. 계획적 평가: 다른 평가 문화로 가는 길

Cees van der Vleuten, Sylvia Heeneman, and Suzanne Schut

1. 평가에 대한 전통적인 접근 방식

2. 계획적 평가

3. 계획적 평가에 대한 평가

4. 결론

17. 평가가 학습에 미치는 영향

Matthew Lineberry

1. 주요 개념과 용어 재검토

2. 학습을 위한 평가에서의 작업 메커니즘

3. 작업 메커니즘 #1: 과정 개발

4. 작업 메커니즘 #2: 평가 이벤트 예측

5. 작업 메커니즘 #3: 평가 이벤트 그 자체

6. 작업 메커니즘 #4: 사후 평가 성찰과 개선

7. 요약 및 다음 단계

8. 돌발 퀴즈 답변

18. 완전학습 환경에서 평가

Matthew Lineberry, Rachel Yudkowsky, Yoon Soo Park,

David Cook, E. Matthew Ritter, and Aaron Knox

1. 완전학습 평가의 해석 및 사용

2. 타당도 근거 출처: 내용

3. 타당도 근거 출처: 반응 과정

4. 타당도 근거 출처: 내적 구조 및 신뢰도

5. 타당도 근거 출처: 다른 변수와의 관계

6. 타당도 근거 출처: 평가 사용의 결과

7. 요약 및 결론

8. 감사의 글

19. 문항반응이론

Yoon Soo Park

1. 서론

2. 고전검사이론: 표본 종속적인 추론의 문제

2. 문항반응이론: 개요

3. 문항반응이론의 적용

4. 요약

20. 통계학자와 교류하기

Alan Schwartz and Yoon Soo Park

1. 서론

2. 자료 분석 계획하기

3. 분석 중 협업

4. 원고 작성 및 그 이상

5. 요약

찾아보기