교사학습공동체를 위한 발달지향적 평가준거체제 개발

Abstract

The purpose of this study is to develop and validate evaluation criteria system (evaluation domain, evaluation criteria, and evaluation indicators) for the TLC(Teacher Learning Community) by utilizing the CIPP evaluation model. To achieve the purpose research questions were set up as follows: First, developing a evaluation criteria system for TLC through Delphi survey. 1) What are the evaluation domain and criteria for the TLC explored in previous studies? 2) What are the evaluation indicators for the TLC according to the evaluation criteria? Second, verifying the validity of the developed evaluation criteria system and confirming the final evaluation criteria system. 1) What is the opinion of the expert investigation team on the evaluation domain, criteria, and indicators? 2) What is the result of the confirmatory factor analysis for the developed evaluation domains, criteria, and indicators? 3) What is the final evaluation model for evaluating the TLC? This study was conducted in a three main procedures. The first procedure is to collect evaluation criteria. This procedure was conducted in three stages to minimize problems such as including insignificant factors or not including important factors according to the subjective judgment of the researcher: first, literature analysis, such as review of previous studies, books, and reports related to the TLC and educational program evaluation theory, was conducted. The main attributes, characteristics, and activation factors of the TLC were reviewed, and the theoretical basis for selecting evaluation criteria was prepared through this stage. Second, the logic of the TLC was explored by using the program logic system of Chen(1990) and the basis of the evaluation model according to the program logic was laid through the theoretical review of the CIPP evaluation model. Third, based on the additional analyzing of literatures related to the TLC and the content analysis of previous studies applying the CIPP evaluation model, a draft of evaluation domains, criteria, and indicators were theoretically designed according to the CIPP evaluation stage. The second procedure is to verify the content validity of the derived evaluation domains, criteria, and indicators. Three opinion surveys were conducted on a group of 32 experts. Through analyzing the average, median, CVR, CSS, and CVG of the draft evaluation model and considering of the revised or supplemented parts and appropriateness, evaluation criteria for TLC were selected. The third procedure is to verify the feasibility for the developed evaluation model. Confirmatory factor analysis was conducted to verify the construct validity. A survey was conducted on 273 teachers, and the data of 260 respondents from the collected questionnaires were used for validity analysis. through this process, the evaluation domains, criteria, indicators of the TLC were verified, and the final evaluation model was confirmed. The results of three research questions were as follows: First, the draft of the evaluation criteria system of the TLC through literature analysis consists of 11 evaluation domains, 31 evaluation criteria, and 80 evaluation indicators. Second, as a result of verifying the content validity through 3 times of expert opinion survey process, 9 evaluation domains, 17 evaluation criteria, and 50 evaluation indicators were selected. Third, 9 evaluation domains, 17 evaluation criteria, and 47 evaluation indicators were finally developed through confirmatory factor analysis for verification of construct validity. As a result of confirmatory factor analysis, the model suitability index is all above the standard value and factor loading is also high, so the evaluation model for TLC developed in this study is valid. The results of this study can help to verify the performance of the TLC by systematically evaluating, and this study is meaningful in that it can be used as an effective evaluation system for the internalization and continuity of the TLC.

본 연구는 CIPP 평가모형의 네 가지 차원을 활용하여 교사학습공동체 운영과정 전반에 대한 평가준거체제(평가영역, 평가준거, 평가지표)를 개발하고 타당화 하는 데 목적이 있다. 이를 통해 교사학습공동체 프로그램의 효과를 증대시키고 운영의 개선을 모색하는 데 기여하고자 다음과 같은 연구 문제를 설정하였다. 첫째, CIPP 평가모형을 적용한 교사학습공동체 평가준거체제를 개발한다. 1) 선행연구를 통해 탐색한 교사학습공동체 평가영역과 평가준거는 무엇으로 구성되는가? 2) 평가준거에 따른 교사학습공동체 평가지표는 어떠한 것들이 있는가?

둘째, 개발된 평가준거체제의 타당성을 검증하고 최종 평가도구를 확정한다. 1) 선정된 평가영역, 평가준거, 평가지표에 대한 전문가 의견조사 결과는 어떠한가? 2) 개발된 교사학습공동체 평가준거에 대한 확인적 요인분석 결과는 어떠한가? 3) 교사학습공동체 진단을 위한 최종 평가지표는 무엇인가?

연구문제 수행을 위해 본 연구는 크게 3단계로 연구를 진행하였다. 첫 번째는 평가준거 수집 단계로, 연구자의 주관적 판단에 따라 중요하지 않은 요인을 포함하거나 중요한 요인을 포함하지 않는 등의 오류를 최소화하고자 세 가지 절차로 연구를 수행하였다. 첫째, 교사학습공동체 및 교육프로그램 평가이론과 관련된 선행연구, 관련 서적, 정책자료 등 문헌분석을 실시하였다. 이를 통해 교사학습공동체의 주요 속성과 특징, 활성화 요인 등을 검토하고 평가모형 선정 및 평가준거 설정의 이론적 토대를 마련하였다. 둘째, 문헌분석 결과를 바탕으로 Chen(1990)의 프로그램 논리 개념 틀을 참고하여 교사학습공동체 프로그램의 논리를 도출하였으며, 교사학습공동체 평가영역과 평가준거 및 평가지표 초안 구성의 타당성을 제고하고 평가모형 선정의 기반을 마련하였다. 셋째, 교사학습공동체 관련 문헌을 추가로 분석하고, CIPP 평가모형을 적용한 선행연구를 내용분석 방법으로 유목화하여 CIPP 평가모형 단계에 따라 평가영역, 평가준거, 평가지표 초안을 이론적으로 설계하였다. 또한 전문가 자문을 통해 선행연구에서 제시된 속성 및 참여요인 등 교사학습공동체의 작동 논리에 대한 이론과 현장의 괴리를 최소화하고자 하였다. 두 번째는 도출된 평가영역, 평가준거, 평가지표의 내용 타당도 검증 단계로, 32명의 전문가 집단을 대상으로 3차례의 의견조사를 실시하였다. 평가준거체제 초안에 대한 평균, 중앙값, CVR, 합의도, 수렴도 등을 분석하고, 수정 및 보완 사항, 적절성 여부 등을 분석하여 교사학습공동체 평가준거를 선정하였다. 세 번째는 개발된 평가준거체제의 구인타당도 검증 단계로 수집된 자료에 대한 확인적 요인분석을 실시하였다. 초‧중‧고 교사 273명을 대상으로 요인분석 설문을 실시하여 회수된 설문지 중 성실하게 응답한 260명의 자료를 타당도 분석에 사용하였다. 이러한 과정을 통해 교사학습공동체 평가영역, 평가준거, 평가지표의 타당성을 검증하고, 9개의 평가영역, 17개의 평가준거, 47개의 평가지표로 최종 평가준거체제를 확정하였다.