NAEP 여름 인턴 블로그 시리즈: 맥락화된 평가 소개

2021년 12월 8일

여름 내내 우리는 NAEP 인턴들의 경험을 그들의 직접 말로 조명하고 있습니다. 

이번 주 글은 마가렛 웡의 시각에서 작성되었습니다. 올여름, 마가렛은 ETS 수석 제품 관리 책임자이자 멘토인 얀 알레그레와 함께 NAEP 설문지 데이터 보고의 혁신을 탐구하는 프로젝트를 진행하고 있습니다: 

이번 여름, 저는 Jan Alegre 박사와 멘토로 함께 nationsreportcard.gov 웹사이트에서 NAEP 설문지 데이터를 보고하는 혁신적인 방법을 개발하는 프로젝트를 진행하고 있습니다. NAEP 보고 프로젝트 설계에 관한 사용성 보고서를 꼼꼼히 살펴보며 개선하는 과정이 매우 흥미로웠습니다. 이번 주 세미나인 "맥락화된 평가 입문"은 ETS의 Robert Finnegan, Chris Agard, Madeleine Keehner가 발표했습니다. 이 세미나는 학생 성과 평가에 있어 맥락적 데이터의 중요성에 대해 더욱 깊이 통찰을 제공했습니다. 

세미나를 들으면서 학생들로부터 수집되는 맥락적 정보에 대해 더 많이 알게 되어 특히 흥미를 느꼈습니다. 맥락적 요인에는 학생의 '학습 기회'와 비인지적 요인이 포함됩니다. 학습 기회(Opportunity to Learn, OTL)는 학생이 학교 내외에서 지식을 습득할 기회에 노출되었는지와 관련된 요인입니다. 비인지적 요인은 내용 지식과 학업 기술과는 구별되는 기술, 전략, 태도, 행동을 의미합니다. 예를 들어, 책에 대한 접근성 같은 OTL은 학생이 독립적으로 읽을 수 있는 양에 영향을 줄 수 있으며, 이는 독서 성과에 영향을 미칠 수 있습니다. 반면, 비인지적 요인은 학생이 교실 밖에서 책을 읽으려는 개인적 동기일 수 있습니다. 학생이 내적 동기가 낮으면 NAEP 평가에서 읽기 점수가 낮아질 수 있습니다. 

설문조사 설문지에서 나오는 방대한 양의 데이터로 인해, 관심 있는 이해관계자들이 이해하기 쉽고 의미 있게 보고할 필요가 생겼습니다. 그래서 저는 이번 여름 Jan Alegre 박사와 함께 NAEP 웹사이트에서 설문조사 설문지 보고를 개선하는 방안을 탐구하게 되어 매우 기쁩니다. 이를 통해 다양한 배경의 청중이 학생 성과에 영향을 미치는 이러한 요인들을 더 잘 알 수 있도록 할 수 있습니다. 지금까지 저는 이 설문조사 결과 보고에 대한 사용자 피드백에 깊이 관여해 왔습니다. 예상대로, 교육 분야의 다양한 배경을 가진 청중들이 이 데이터에 매우 관심을 보였습니다. 저는 이해관계자들을 인터뷰하여 SQ 데이터를 보고하는 혁신적인 대시보드를 개발하게 되어 매우 기대됩니다. 

마가렛 웡은 NAEP-여름 학부 연구 경험(SURE) 인턴으로, 최근 애리조나 주립대학교에서 인간 시스템 공학 학사 학위를 마쳤으며, 현재 같은 분야에서 석사 과정을 밟고 있습니다.