평가의 타당성 제고를 위한 Rasch모형의 적용방안

Abstract

본 연구는 평가의 평가타당성 검증을 위해 기술보증기금의 기술평가자료를 Rasch 모형에 적용하였으며, 이는 평가자의 평가타당성이 평가전체에도 영향을 미칠 수 있기 때문이다. Rasch모형은 문항의 난이도를 고려하여 평가자의 능력을 평가하는 것으로 평가의 일관성에 대한 다양한 평가결과를 제공한다. 예를 들어 Rasch모형은 평가문항의 난이도에 대한 자료는 물론 평가자의 평가일관성에 대한 다양한 평가결과를 제시하고 나아가 전체 평가의 일관성에 대한 검증결과를 제시한다. 본 논문에서 사용된 자료는 2005년 7월부터 2007년 9월까지의 기술보증기금의 기술평가 중 보증이 이루어진 업체를 대상으로 하였으며, 총 평가 업체 수는 4,416개이다. 그리고 한 기업에 대해서는 평가자가 최소 1명에서 최대 3명까지 평가에 참여하는데, 본 연구의 목적에 맞게 2명이나 3명이 평가 한 기업에 대해서는 각 평가자가 평가 한 것으로 분리하여 데이터를 정리 하였다. 그렇게 만들어진 평가는 6,276개이다. 또한 평가에 참여한 평가자는 551명이다. 그리고 평가문항 45개중 객관적 계량 지표를 제외한 비계량 지표 33개의 항목으로 하였으며 각 문항에서 결측치가 나온 자료에 대해서는 분석에서 제외시켰다. 평가 자료를 Rasch모형에 적용시키기 위해 먼저 각 문항별 최대 빈도의 등급을 계산한다. 그리고 각 등급에서 문항에 대한 최대 빈도 등급 이상의 등급일 경우에는 “1”, 미만인 경우에는 “0”으로 반응 변수를 처리하였는데, 이때 모두 “1”이거나 모두 “0”인 항목이나 평가자가 있을 수 있는데, 이러한 경우 분석에서 제외한다. 이는 Rasch 모형의 문항반응 이론의 범주에서 1모수 로지스틱 모형(one-parameter logistic model)을 적용하기 위해 자료의 형태를 변환하는 것이다. 이때 모두 “1”이거나 모두 “0”인 항목이나 평가자가 있을 수 있는데, 이러한 경우 분석에서 제외한다. 본 연구에서 사용된 분석 방법은 Rasch 모형으로써 평가자 및 문항의 타당성을 검정할 수 있는 것으로, 일관성과 성향으로 나눌 수 있다. 먼저 문항의 일관성은 값이 낮을 수록 문항의 일관성이 유지되고 있고 그 값이 2를 넘어가면 일관성의 문제가 있으며 문항의 성향 값이 음수일수록 문항은 쉬워지고, 양수일수록 문항은 어려워짐을 의미하고 그 값이 2를 넘어가면 성향에 문제가 있다. 평가자의 일관성은 값이 낮을 수록 평가를 일관되게 하는 것을 의미하는데, 그 값이 2를 넘어가면 평가자에게 문제가 있으며, 평가자의 성향은 값이 음수이면 관대하게 평가를 하는 것이고, 양수이면 엄격하게 평가를 하게 되는 것이다. 여기서 평가자의 일관성은 평가자가 평가기준에 맞게 평가를 지속적으로 하느냐에 대한 판단 기준이다. 평가 중 주관적 생각의 유입으로 인해 등급 이하의 점수를 부여하거나 등급이상의 점수를 부여할 경우가 있는데 이때 일관성에 문제가 발생 하는 것이다. 또한 문항에 대한 일관성은 문항 자체의 문제가 있는 것으로 평가자들이 같은 기준의 평가에서도 다른 평가가 나올 수 있는 것을 의미한다. 또한, 평가자의 성향은 평가자가 평가를 할때, 평가기준에서 얼마나 벗어나는지를 보기 위한 것이다. 먼저, 관대한 평가는 평가기준보다 점수를 많이 부여하는 것이고, 엄격한 평가는 평가기준에 딱 맞게 점수를 부여하거나 낮게 부여하는 것을 의미한다. 관대한 평가가 이루어질 경우 평가 대상은 기대이상으로 높은 점수를 받을 것이며, 엄격한 평가가 이루어진 경우는 기대이상으로 낮은 점수를 받아 형평성에 문제가 발생할 수 있다. 그리고 문항의 성향은 평가자들이 문항을 쉽게 이해하거나 어렵게 이해하여 점수부여에 있어 혼란을 줄 수 있는 경우를 말한다. 문항의 성향에서 관대한 것은 평가자들이 대부분 쉽게 평가하여 높은 점수를 부여하게 되는 것이고, 엄격한 것은 반대의 경우를 의미한다. 분석 결과, 문항에 대한 성향에서 1개의 문항이 -4.02으로 기준치를 크게 벗어나 문항의 난이도 조정이 필요하며, 일관성에서도 1개의 문항이 2.04으로 기준을 벗어나 해당 문항에 대해서는 개선이 필요한 것으로 보인다. 평가자의 성향을 보면, 음수 2를 넘어가는 평가가 892건으로 14.22%가 관대하게 평가를 하고 있음을 알 수 있고, 양수 2를 넘는 평가는 196건 3.12%로 엄격하게 평가하고 있다. 일관성에서는 2를 넘어가는 평가는 538건 8.57%로 평가자들이 대부분 일관성을 유지하고 있지만 일부 평가자에 대한 교육이 필요하다. 모형 적합도 검정에서는 1.259로써 기술평가의 일관성 유지는 잘되고 있다.

This paper aims to verify validity of the appraisal applying Rasch model to the technology rating data of Kibo Technology Fund(KIBO). Rasch model which verifies an ability of the assessor considering the degree of difficulty on items shows multiplicity results on the consistency of appraisal. To test this model, the data were collected from the assured businesses from July 2005 to September 2007. the data consisted 4416 businesses and 551 assessors. The 45 items consist of 12 objective items and 33 projective items, each item was deleted for the omitted data. To apply the rating data to Rasch model, firstly calculate the maximum frequency of each item. Then, if each item excess the maximum frequency, each item is given "1", if it doesn't, each item is given "0". This analysis method for verifying the validity of the item and assessors classify the two criterion which have the consistency and the tendency. If two criterion excess the standard value 2, this analysis is judged to have a problem. The analysis result revealed that one of items excesses the criterion of tendency, one of items excesses the criterion of consistency, then 892 of all assessments excess the criterion of tendency, 196 of all assessments excess the criterion of consistency. The consistency of the technology rating has maintained fully, because the approval of total model goodness of fit were content with the criterion. This paper makes sense of the theoretical dimension and the methodological dimension, the working-level dimension. First, this result shows that the technology rating of KIBO consistently maintain, but the consistency and tendency of assessors have a few problem. This assessor's problem will be resolved through some feedback or periodical training. Second, a number of the assessors rated magnanimously. It shows that assessors have a problem of the tendency. To improve the problem, assessors must make effort to obtain the objectivity. Third, Rasch model has been used mainly at the pedagogy and the artistic, sports. As analyzing an validity of the assessment through the Rasch model, the ability of assessors can improves and the validity of the assessment. Fourth, as appending SAS program applying Rasch model, other researchers will use conveniently this for analyzing the validity of assessment.