학생 성장 점수를 집계하는 새로운 접근 방식

2021년 12월 8일

현재 미국 내 48개 주가 주 전역의 초중등 학생 평가 프로그램의 일환으로 학생 성취도 성장을 측정하고 있습니다. 성장 지표는 종종 학군, 학교, 심지어 교사들의 책임성 시스템의 일부로 사용되어, 현재 성취도만을 넘어 학생 성과를 더 완전하게 파악할 수 있습니다. 이 시스템들은 교육구, 학교, 교사 학급 내 모든 학생의 성장 평균을 사용합니다. 표면적으로는 학생 진도를 요약하는 실용적이고 직관적인 방법처럼 보일 수 있지만, 실제로는 문제가 될 수 있습니다.

학생 수가 적은 학교, 학군 또는 교사에 대한 성장 평균을 내면 해마다 상당한 변동이 발생할 수 있습니다. 예를 들어, 한 해에 높은 성장률을 기록한 작은 학교가 90백 분위수에 해당하지만, 다음 해에는 낮은 수준으로 10백 분위수에 머무를 수 있습니다. 이러한 연도별 변화는 학생 성장률의 평균을 의사결정에 활용하는 데 어려움을 줄 수 있습니다. 이러한 결정은 종종 학생, 학교, 학군에 영향을 미치는 중요한 문제, 재정 문제 및 기타 고려사항과 연관되어 있기 때문에, 이러한 지표가 정확하고 실행 가능한 정보를 제공하는 것이 매우 중요합니다.

지난 몇 년간 우리는 캘리포니아 교육부(CDE)와 협력하여 그들이 주의 학생 성취도 성장을 측정하고 보고하는 방법을 더 잘 이해할 수 있도록 도와왔습니다. 연도별 큰 변동에 직면했을 때, 캘리포니아는 성장 지표를 도입할지 또는 어떻게 진행해야 할지 확신하지 못했습니다. 그 결과, 우리는 주(총합) 성장 지표를 개선하고, 소수의 학생을 대상으로 하는 학교나 학군, 또는 장애 학생이나 영어 학습자(EL)와 같은 저발생률 학생 그룹의 지표에서 과도한 불안정성을 제거하는 방법을 찾고자 했습니다.

작업 과정에서 우리는 경험적 최적 선형 예측(EBLP )이라는 표준 통계 방법을 활용하여 성장 지표의 정확도를 높이고 연도 변동을 줄였습니다. 이 통계 방법은 병원 환자 결과나 주 내 카운티의 문해력 수준 등 여러 집단에 대한 측정을 제공하는 데 널리 사용됩니다. 우리 팀은 백만 명이 넘는 개별 학생 성장 지표와 수백 또는 수천 개의 학교가 존재하는 성장 데이터에 적용하기 위해 필요한 방법론과 컴퓨터 알고리즘, 코드를 개발했습니다.

EBLP 방법은 새로운 학생 성장 모델이 아닙니다. 이는 단순한 성장 점수(예: 올해 점수에서 전년 점수를 뺀 것)부터 더 복잡한 학생 성장 백분위수까지 모든 유형의 학생 성장 점수에 적용할 수 있습니다. EBLP 절차의 힘은 여러 해의 학생 성장 점수 데이터를 최적으로 활용하여 주 보고 연도의 그룹 성장 점수를 더 잘 추정하는 데 있습니다. 간단히 말해, EBLP 집계 성장 점수는 보고 연도만의 단순 평균이 아니라 두 개 이상의 학년도 학생 성장 점수의 가중 평균에 가까운 것입니다.

더불어, EBLP 방법은 그룹 규모에 맞게 조정됩니다. 이미 더 정확하고 안정적인 추정치를 가진 큰 그룹의 경우 EBLP 총합 성장 점수는 단순 평균과 거의 동일합니다. 이 방법은 보고 연도의 학생 성장 점수에 거의 모든 비중을 두고, 이전 연도의 학생 성장 점수에는 거의 또는 전혀 가중치를 두지 않습니다. 반대로 소규모 그룹의 경우, EBLP 절차는 전년도 성장 점수에 비가소한 가중치를 두는데, 이는 보고 연도의 학생 그룹 성장 지표를 참고하는 데 도움이 되기 때문입니다. 이 경우 EBLP는 단순 평균과 더 눈에 띄게 다르지만, 단순 평균보다 더 정확하고 안정적입니다. 전체적으로 EBLP 가중 평균은 소규모 그룹의 정확도와 안정성 향상에 더 큰 영향을 미쳐, 소규모 그룹과 큰 그룹 간의 성과 격차를 줄입니다. 이 방법을 사용하면 학생 수가 적거나 학생 집단이 적은 주가 더 이상 큰 학교보다 학생 수가 적다는 이유로 불이익을 받지 않습니다.

이 EBLP 방법론을 사용하여, 우리는 CDE와 팀의 결과를 공유했으며, CDE의 직원들은 이 방법이 연간 전체 성장 점수의 높은 변동에 대한 잠재적 해결책으로 흥미를 느꼈고, 주 전역의 학교 및 학군 성장 지표 안정성을 개선할 수 있는 가능성을 탐색해 줄 것을 요청했습니다. ETS와 CDE 가 수행한 탐구 결과, EBLP는 특히 소규모 학교와 학군에서 성장 지표의 정확성과 연도 간 상관관계를 향상시켰습니다. 제안된 접근법의 성공을 바탕으로, 캘리포니아 주 교육위원회는 최근 학교 및 학군 내 학생 그룹의 성장과 함께 EBLP 방식을 보고하는 것을 만장일치로 승인했습니다.

이 작업이나 당사의 연구개발 컨설팅 서비스에 대해 더 알아보세요.

캐서린 카스텔라노는 ETS의 수석 연구 과학자입니다. 댄 맥카프리는 ETS의 부사장입니다.