국가수준 교과학습 진단평가의 수학영역에 관한 문항반응 분석

Abstract

본 연구는 2008년 3월 6일 전국적으로 실시된 국가수준 교과학습 진단평가 수학영역의 문항분석을 통해 수학영역을 구성하는 문항들이 진단평가로서 적합한 문항으로 이루어져 있는지를 알아보고자 하였다. 문항을 분석함에 있어서19세기말부터 현재까지 전개되어온 고전검사이론을 비롯하여 현재 세계적으로 널리 사용되고 있는 문항반응이론 중 문항 난이도만을 고려하는 1-모수 문항반응이론 즉 Rasch모형을 사용하였다. 부산시 서구에 위치한 A중학교 3학년 10개 반 374명을 대상으로 그들의 문항반응 결과로 문항을 분석하여 전체적인 특성과 분포를 살펴보면 중앙값이 평균보다 높게 나타나 대부분의 학생들이 높은 점수를 받았다고 볼 수 있다. 영역별로 살펴보면 문항은 중등 수학을 구성하는 5개의 영역 중 문자와 식 영역과 도형과 측정 영역에 치중되어 문항이 구성되어 있었으며 수와 연산, 문자와 식, 확률과 통계, 도형의 측정 영역에서 난이도가 낮게 출제되었고 규칙성과 함수 영역에서만 난이도가 높게 출제되었다. 또한 영역별 평균 비교 분석 결과 평균 점수에 차이가 있게 나타났으며 피험자의 영역별 차이 여부를 알아보기 위해 사후검정을 실시하여 영역별 난이도 차이 여부를 알아보았더니 문자와 식, 수와 연산, 도형과 측정 영역이 통계적으로 차이가 없다고 나타났으며, 수와 연산, 도형과 측정, 확률과 통계 영역이 통계적으로 차이가 없다고 나타났다. 문자와 식 영역과 확률과 통계 영역은 통계적으로 차이가 있으며, 규칙성과 함수 영역은 다른 영역과 통계적으로 차이가 있는 것으로 나타나 규칙성과 함수 영역의 문항들을 재구성해야 할 필요가 있다. 피험자의 성별에 따른 교과학습 진단평가 점수 차이를 알아보기 위해 T-test를 실시한 결과 검정통계량 t값은 -0.39, P-value는 0.694로 유의수준 5% 내에서 통계적 근거가 충분하지 않아, 성별에 따른 교과학습 진단평가 점수는 차이가 나지 않는다고 할 수 있다. 영역별로 살펴보았을 때도 성별에 따라서는 점수 차이가 나지 않아 통계적으로 남학생과 여학생의 점수 차이는 나타나지 않는다고 결론 내릴 수 있지만 수치상으로 봤을 때는 여학생이 남학생에 비해 수학 능력이 높게 나타났다. 문항 간의 일치도 분석을 위해 교과학습 진단평가 수학영역의 30문항에 대해 신뢰성 평가를 실시하여 영역별 전체 α계수를 살펴본 결과, 수와 연산, 문자와 식, 규칙성과 함수, 확률과 통계, 도형과 측정 영역의 전체 α계수가 0.6보다 높으므로 높은 일치성을 가지며 영역 내의 한 문항이 영역 내의 다른 문항에 의해 결정되어진다고 할 수 있다. 또한 영역 내에서 일치성이 떨어지는 개별 문항이 나타나지 않았으며, 각 문항의 합계와의 상관계수를 알아본 결과 상관계수가 0.2보다 높게 나타나 높은 일치성을 가지는 것을 알 수 있었다. 교과학습 진단평가의 문항에 대한 난이도 및 일관성을 알아보기 위해 Rasch모형으로 분석을 실시하였다. 정답률 결과 6번 문항의 경우 전제 학생 374명 중 정답자가 348명(0.930)으로 문항의 난이도가 낮은 것으로 나타났으며, 15번 문항은 전체 학생 374명 중 정답자가 98명(0.262)으로 문항의 난이도가 가장 높은 것으로 나타났다. 또한 문항 난이도 분석 결과, 15번 문항의 경우 난이도 수치는 3.121로 기준치인 2를 벗어나 매우 어려운 문항으로 분류되었으며 6번 문항의 경우 최종 난이도 수치가 -2.327로 기준치인 -2룰 벗어나 매우 쉬운 문항으로 분류되었다. 기준치를 벗어날 정도로 어렵거나 쉬운 문항은 진단평가 문항으로서 부적합하다고 판단된다. 문항 일관성 분석 결과, 30개 문항의 일관성 수치가 기준치 2를 넘지 않은 것으로 나타나 일관성이 유지되고 있다고 할 수 있다. 하지만, 15번 문항의 경우 상대적으로 일관성 수치가 높은 것으로 나타났으며, 15번 문항이 난이도가 높아 성적이 높은 학생은 오답을 선택하고 성적이 낮은 학생은 정답을 선택하여 일관성이 떨어진다고 할 수 있다. 피험자 능력 분석결과 양수 2를 넘어가 문제를 해결하는 능력에 문제가 있는 학생이 29명(7.75%) 관찰되었으나 역추적 결과 만점자로 나타났으며 피험자 일관성 분석결과 16명의 피험자 학생이 일관성 값이 2를 초과하는 것으로 나타나 문제를 해결하는데 일관성의 문제가 있는 것으로 판명되었다. 교수학습 진단평가의 전체적인 일관성 알아보기 위해 평가모형의 적합도를 계산한 결과 적합도는 1.02로 기준점수인 2를 넘지 않아 교과학습 진단평가의 일관성이 잘 유지되고 있다고 할 수 있다. 본 연구에서는 여러 가지 방법을 통해 국가수준 교과학습 진단평가 수학영역의 문항반응을 분석해보았다. 피험자들의 문항반응은 통계적으로 반이나 성별에 구애받지 않았고 높은 일치성을 가지고 있었으며 대부분의 문항들은 일관성이 유지되는 문항들이었다. 전체적으로도 일관성이 유지되는 평가였다. 다만 중등수학을 이루는 5개 영역 중 규칙성과 함수라는 영역은 다른 영역과는 통계적으로 차이가 나타나는 문항으로 구성되었다는 점. 그리고 지나치게 쉬운 문항과 지나치게 어려운 문항의 출제 등의 문제가 나타났다. 완벽하게 출제자의 의도에 맞는 평가문항을 구축하는 것이 매우 어려운 일임에는 분명하나 전국의 모든 아이들이 치르게 될 평가인 만큼 문항 개발에 더욱 세심한 주의를 기울여야할 것이라 생각된다.

The purpose of thesis is to judge the adequacy of Diagnostic Test for problems which have submitted in National Level Mathematics Diagnostic Test on Mar. 6, 2008. We have done the Analysis of Item Response through Rasch model that is recently common measuring method of item response theory in the world. It might be difficult to generalize the result for all national students because we have only studied for senior students of middle school in western area of Busan who live relatively harsh educational environment compared to another student. But, we are supposed to know the suitability for Diagnostic Test that each question of National Level Mathematics Diagnostic Test can provide precise information of a private student to analyze consistency and propensity of difficulty through Rasch model. As result of the Analysis Of Item Response, a great potion of items has kept a consistency to be harmonized with nothing to concern about class and the distinction of sex. However, the section of regularity and function which are within 5 section in mathematics curriculum during middle school are composed of statistically different items. As well as the problems are revealed that the questions in the examination were considerably easy and difficult.