더 많은 이야기를 발견하기 위해 데이터를 더 깊이 파고들으세요.

우리 팀은 모든 학생의 학습 기회를 개선하기 위해 학생 그룹 점수 보고를 혁신하는 데 전념하고 있습니다. 우리는 정책 중심의 평가 데이터 사용자와 연구자들로 구성된 공동 설계 팀의 일원으로 협력하여 널리 사용되는 평가 결과를 더 나은 표시로 개발했습니다. 우리는 ETS 연구원과 데이터 시각화 전문가 엘리 홀더(3iap)를 파트너로 이끌었으며, 그는 최근 획기적인 논문 『 Unfair Comparisons』를 발표했습니다. 지난 봄, 우리는 격주로 만나 학생 그룹 시험 결과를 보고하는 다양한 방법을 구상했습니다. 이를 통해 반응을 '그냥 그런 거야'에서 '필요 X, Y, Z를 충족시켜 학생들을 도울 수 있다!'로 전환할 수 있습니다. 그 경험 내내 우리 모든 설계를 이끈 만트라는 '평균을 넘어서라'였습니다. 이 블로그에서 우리는 다시 한 번 팀을 이루며 그 단순한 변화가 학생 성과에 대해 훨씬 더 많은 것을 밝힐 수 있음을 공유했습니다.

수년간 매사추세츠 학생들은 전국 교육 진도 평가(NAEP) 읽기 평가에서 평균적으로 다른 주 학생들보다 우수한 성과를 내고 있습니다. 2024년에도 4학년과 8학년 모두에서 같은 성과를 냈습니다. 이러한 높은 점수는 매사추세츠 결과를 기준점으로 삼고 자신들의 주 정책 지침으로 삼는 정책 입안자와 교육 지도자들의 주목을 받았습니다. 역사적으로 매사추세츠보다 NAEP 독서 점수가 훨씬 낮았던 미시시피와 루이지애나는 NAEP 독서 점수 향상으로 찬사를 받아 다른 주 들이 그들의 정책을 참고하는 모습이 되었습니다. 하지만 미시시피와 루이지애나는 NAEP 주 순위에서 상승했지만, 평균 점수는 매사추세츠 같은 상위 주들에 비해 여전히 낮습니다. NAEP 데이터를 더 깊이 파고들고 평균을 넘어서는 것은 미시시피와 루이지애나가 이룬 성과와 학생들의 문해력 수준이 서로와 매사추세츠와 어떻게 비교되는지 더 명확하고 완전하게 이해할 수 있게 해줍니다.

_{그림 1. 2024년 전국 교육 진도 평가(NAEP)의 4학년 평균 독서 점수를 나타내는 막대 그래프에 따르면, 매사추세츠는 평균적으로 루이지애나, 미시시피 및 전국 전체보다 더 높은 점수를 받았습니다.}

NAEP 데이터 탐색기(NDE)는 사용자가 메뉴 기반 NAEP 데이터에 접근할 수 있도록 해주어 4학년 학생들의 주 단위 학생 독서 성과를 깊이 분석할 수 있게 해주었습니다. 그림 1은 전국과 루이지애나, 미시시피, 매사추세츠의 평균 4학년 NAEP 독서 점수를 보여주는 막대 차트를 제공합니다. 이와 같은 막대 차트는 한때 인기 있었지만, 여러 면에서 오해의 소지 가 있어 특히 결함 사고를 초래합니다. 이 간단한 막대 차트에서 몇 가지 관찰점을 주목합니다:

• 매사추세츠 학생들은 미국에서 4학년 평균 독서 성적이 가장 높으며, 2024년 전국 평균 215점보다 무려 10점 높습니다. 이 차이는 무작위 잡음이 아닙니다. 블로그 전반에 걸쳐 언급된 모든 차이와 마찬가지로 통계적으로 유의미합니다.
• 미시시피는 세 주 중 평균 점수가 219점으로 다음으로 높았으며, 이는 매사추세츠보다 6점 낮지만 전국보다는 4점 높았습니다.
• 루이지애나의 평균 점수인 216점은 전국 전체와 비슷했다.

평균 외에도 NAEP 데이터 탐색기는 주 단위 데이터를 여러 백분위수 단위로 제공합니다. 백분위수는 학생 표본을 100개의 동일한 비율로 나누며, 각 비율은 학생의 1%를 나타냅니다. 특정 백분위수에 대해 말할 때는 학생 중 일정 비율이 떨어지는 수준 이하를 의미합니다. 예를 들어, 학생의 점수가 75백분위수라면, 그 점수가 다른 모든 학생의 75% 점수와 같거나 그 이상임을 의미합니다. 여러 백분위수 점수를 그래프로 표시하면 전체 학생 분포에서 점수가 어떻게 비교되는지 더 잘 이해할 수 있습니다.

_{그림 2. 2024년 전국 4학년 NAEP 독서 점수의 주석 분포 그래프.}

왼쪽부터 오른쪽 방향으로 그림 2의 패널들은 추가적인 정보 층층화가 NAEP 척도와 학생 점수의 관계에 대한 통찰을 어떻게 제공하는지 보여줍니다. 

• 왼쪽 패널에서는 단순한 막대 차트가 단 하나의 점수, 즉 전국 평균만을 전달하는 것을 볼 수 있습니다. 이런 차트에서는 사용자가 바 안팎의 점수 분포를 스스로 만들어내는 경향이 있어, 데이터에 대한 오해와 왜 어떤 그룹이 다른 그룹보다 낮은 점수를 가지는 이유를 오해할 수 있습니다.
• 중간 패널에서는 점수 분포 그래프를 사용해 학생들이 주로 점수를 받는 위치를 강조합니다. 가장 어두운 음영 부분은 전국 중간 50% 학생들이 189점(25번째 백분위수)에서 245점(75번째 백분위수) 사이 점수를 받았음을 보여줍니다.
• 오른쪽 패널에는 점수 백분위수 해석의 기준점을 제공하기 위해 NAEP 성취 수준 이 추가됩니다. 성취 수준은 학생들이 지식과 기술을 얼마나 잘 보여주는지를 나타내며, NAEP Basic은 부분적 숙달을 나타냅니다. 여기서 가장 어두운 음영 부분은 중간 50%의 학생 점수가 세 가지 수행 수준에 걸쳐 있음을 보여줍니다: NAEP Basic보다 낮음, NAEP Basic, NAEP 숙련됨. 또한 90번째 백분위수는 NAEP 고급 수준에 근접해 10% 미만의 학생이 고급 수준에 도달할 만큼 높은 점수를 받았습니다.

_{그림 3. 2024년 4학년 NAEP 독서 점수 분포 그래프. 전국 및 각 주의 평균 독서 점수는 흰색으로 표시되어 있습니다. 점선 세로선은 전국 분포의 백분위 점수를 나타냅니다.}

그림 3을 보세요. 우리가 보는 것과 비슷하신가요? 미시시피 분포의 왼쪽은 전국이나 루이지애나보다 매사추세츠와 더 닮았습니다. 미시시피와 매사추세츠의 10번째 백분위수는 전국보다 약 10포인트 높습니다.

미시시피와 매사추세츠 모두 보고 있습니다
성적이 낮은 학생들을 위한 더 나은 점수
국가 전체보다.

분포의 오른쪽 끝에서 무엇을 보나요? 그곳에서 미시시피 점수는 매사추세츠(13포인트)와 루이지애나(4포인트)보다 낮습니다. 

미시시피 주 최고 성적 학생들
더 많은 지원이 필요할 수 있습니다.
다른 주 학생들과 동일한 수준의 성과를 거두었습니다.

NAEP는 또한 학생 가족이 경제적으로 불리한지 여부와 같은 여러 학생 특성에 대한 데이터를 수집합니다. 경제적 지위별로 점수를 나누면 미시시피, 루이지애나, 매사추세츠의 4학년 독서 점수를 보다 완전하게 볼 수 있습니다(그림 4 참조).

_{그림 4. 가족 경제 상태별로 나누어진 4학년 NAEP 독서 점수 분포 그래프. 국가별 가족 경제 상태별 평균 4학년 독서 점수는 흰색으로 표시되어 있습니다. 점선 세로선은 전국 분포의 백분위수를 나타냅니다.}

학생 가정이 경제적으로 불리한 환경에 있는지 분석할 때, 읽기 점수는 크게 차이가 나며, 경제적으로 어려운 가정 출신 학생들이 일반적으로 더 높습니다.  일부 주는 경제적으로 어려운 학생들에게 읽기 교육을 하는 데 다른 주보다 더 잘 나타난 것으로 보입니다.

그림 4의 왼쪽 패널을 보면 보이나요?

미시시피와 루이지애나는 전국을 앞서고 있습니다
학생들의 성과에 관해서는
경제적으로 어려운 가정 출신입니다.

• 미시시피는 경제적으로 어려운 학생들 사이에서 4학년 평균 독서 점수(212점)가 가장 높으며, 매사추세츠(204점)보다 8점 높고, 전국 전체(202점)보다 10점 높습니다.
• 경제적으로 불리한 학생들의 10백분위수와 25백분위수는 미시시피가 매사추세츠보다 13포인트 더 높지만, 비례적으로는 미시시피(75%)가 매사추세츠(40%)보다 거의 두 배에 달한다.
• 미시시피 학생들은 점수 분포의 각 백분위수에서 전국을 6점에서 15점 이상 앞서지만, 가장 높은 점수를 받은 학생들(90백분위수)은 분포의 왼쪽 끝에서 가장 큰 차이를 보입니다.
• 학생의 73%가 경제적으로 어려운 상황에 처해 있지만, 루이지애나는 가장 낮은 점수를 제외한 각 백분위수마다 약 7점 차이로 꾸준히 전국보다 앞서 있습니다.

비경제적 불리한 학생들의 점수 분포를 보여주는 그림 4의 오른쪽 패널을 보니, 다음과 같은 관찰과 심도 있는 질문이 생겼습니다.

• 세 주 모두 전국 평균보다 7점에서 10점 더 높은 평균 점수를 기록하고 있습니다.
• 분포의 왼쪽을 보면, 미시시피와 매사추세츠는 전국 전체보다 10%포인트에서 20%포인트 차이로 10%포인트 차이로 현저히 높습니다.
• 가장 큰 차이는 미시시피의 10번째 백분위수로, 전국보다 20포인트 높습니다.
• 이들 주가 경제적으로 어려운 학생들에게 어떤 지원을 제공할 수 있을까요?

_{그림 5. 8학년 NAEP 독서 점수의 가족 경제 지위별로 분포 그래프. 국가별 및 각 주의 가족 경제 상태별 평균 8학년 독서 점수는 흰색으로 표시되어 있습니다. 점선 세로선은 전국 분포의 백분위 점수를 나타냅니다.}

세 주의 NAEP 8학년 데이터를 살펴보며 추세가 유효한지 확인해 봅시다. 가족 경제 상태별로 점수를 나누어 보면, 그림 5의 왼쪽 패널에 있는 점수 분포 그래프는 미시시피와 루이지애나가 8학년 경제적으로 어려운 학생들 사이에서 매사추세츠와 동등한 성과를 보입니다. 세 주 모두 좌파에서 중간 정도 분포 부문에서 전국 전체를 능가합니다.

하지만 경제적으로 불리하지 않은 학생들에게는 미시시피가 다른 주와 전국에 비해 개선의 여지가 있습니다. 그림 5의 오른쪽 패널을 보면 다음과 같은 관찰을 할 수 있습니다:

• 매사추세츠와 루이지애나와 비교했을 때, 미시시피는 점수 분포 전반에 걸쳐 고득점과 저득점 학생 모두에서 낮은 점수를 받았습니다.
  • 예를 들어, 미시시피의 25번째 백분위수는 243으로, 매사추세츠의 25번째 백분위수 258점보다 15포인트 낮고, 루이지애나의 253점보다 10포인트 낮습니다.
• 미시시피의 경제적 어려움이 없는 8학년 학생들에 대한 이 결과는 4학년 결과와 현저히 다르며, 상위 학년에서 학생들이 더 고급 읽기 능력을 발달함에 따라 읽기 개입을 맞춤화해야 할 수 있음을 시사합니다.
• 반면, 경제적으로 어려운 학생이 아닌 학생들의 경우, 루이지애나는 매사추세츠와 더 비슷한 성적을 보이며, 종종 미시시피보다 최대 10점 차이로 앞서기도 합니다.

공통 평가 프로그램을 사용함으로써 NAEP 데이터는 주 간 학생 성과의 가치 있고 상세한 비교를 제공할 수 있습니다. 

평균 NAEP 점수는 매사추세츠 학생들이 루이지애나, 미시시피, 그리고 전국 전체에서 우수한 성과를 보이지만, 평균에 머무르면 미시시피와 루이지애나에서 낮은 점수 학생들의 높은 성취도를 놓치게 됩니다. 구체적으로, 미시시피와 때로는 루이지애나가 4학년 읽기 분야에서 매사추세츠 및 전국 전체를 능가하고 있습니다.

• 주 전역의 저학점 학생들;
• 경제적으로 어려운 학생들, 특히 평균 점수 이하 점수를 받는 학생들; 그리고
• 경제적으로 불리하지 않은 학생들, 특히 하위 10백분위수와 25백분위수 점수를 받는 학생들입니다. 
• 루이지애나와 미시시피 모두 경제적으로 어려운 학생들 사이에서 8학년 독서 점수에서 매사추세츠와 대체로 비슷한 수준을 보이고 있습니다. 미시시피의 8학년 독서 점수는 특히 경제적으로 어려운 학생들이 많아 개선할 여지가 있습니다.

우리는 주 교육 지도자들이 이 결과를 도약의 계기로 삼을 수 있기를 바랍니다
어떤 정책과 관행이 어떤 결과를 낳았는지 더 알아보려는 시도는 빗나갔습니다
루이지애나와 미시시피가 전국이나 다른 주보다 더 좋은 성과를 내야 합니다.
특히 낮은 점수를 받아도 읽기 결과를 향상시키는 데 있어
학생들과 경제적으로 어려운 학생들.

교사의 학생 성과와 학교 특성에 대한 추가 탐색은 해당 주나 귀하의 주에서 학생 성과가 더 높게 작용할 수 있는 교사 및 학교 관행을 확인할 수 있습니다. 데이터를 직접 탐색하려면 여기를 클릭하세요.

마리솔 케벨슨, 캐서린 E. 카스텔라노, 에밀리 케르자비 는 ETS 연구소에서 근무하고 있습니다. 마리는 부연구원입니다; 캐서린은 수석 연구 과학자입니다; 에밀리는 연구 프로젝트 매니저입니다. 엘리 홀더 는 3IAP의 창립자입니다.