주요 과학자들이 ETS에 모여 형평성을 위한 평가 개인화를 탐구합니다

"우리는 각 개인의 지식과 기술을 그들에게 가장 적합한 방식으로 측정하려고 노력해야 합니다."
- 랜디 베넷, ETS 노먼 O. 프레데릭센 평가 혁신 의장

이론적으로 개인 맞춤형 평가는 너무나도... 당연해 보입니다. 우리는 모두 필요한 것에 동의할 수 있지만, '어떻게 하는가'가 도전과 기회를 불러일으켰으며, 평가 커뮤니티는 미래 평가를 재정의하고 배경, 관심사, 모국어, 문화적 정체성에 관계없이 각 개인이 무엇을 알고 할 수 있는지 측정 할 수 있는 해결책을 개발해야 합니다.

ETS에서는 매일 평가의 미래를 살아 숨 쉬고 있습니다. 그리고 개인 맞춤형 학습 등 주요 연구 분야에서 선도적인 연구자와 혁신적인 인재들이 참여하는 것을 영광으로 여기지만, 우리는 혼자서 현재의 평가 패러다임을 완전히 바꿀 수 없다는 것을 잘 알고 있습니다.

"이번 행사는 개인 맞춤형 평가의 잠재력을 더 큰 선을 위해 함께 탐구하는 여러 단계 중 하나입니다,"라고 ETS 연구 부사장 카드리예 에르치칸 이 말했습니다.

이 행사는 형평성에 기여하는 맞춤형 평가 를 현실로 만들기 위해 필요한 것들에 대한 활발한 대화를 촉진했습니다. 이것은 올해 ETS의 새로운 연구 의제와 연계된 네 차례의 회의 중 첫 번째였습니다; 첫 행사에서 들은 내용은 다음과 같습니다:

랜디 베넷,
노먼 O. 프레데릭센 평가혁신 의장, ETS

"미국을 비롯한 전 세계 많은 국가들은 전례 없는 수준의 인구 변화를 경험했습니다. 그 변화는 여러 차원에서 더 큰 다양성을 향해 나아가고 있지만, 특히 인종/민족, 언어, 사회경제적 경계에서 더욱 그렇습니다. 이 모든 차원은 상당한 수준의 문화적 이질성을 가져옵니다. 오늘날의 시험들은 우리나 많은 다른 나라들이 겪고 있는 문화적 다양성 수준을 수용하도록 설계되지 않았습니다. 이러한 갈등은 다양성에 대응하기 위한 개인화를 포함한 새로운 평가 개념의 필요성을 촉진하고 있습니다.

형평성 목적을 달성하기 위해 의도적으로 이루어지지 않는다면, 개인화는 더 큰 불평등을 초래할 수 있습니다. 개발이 누구에게 중요한지, 그들이 선택하는 방법이 중요하며, 어떤 변수를 개인화하는지, 어떤 참가자 표본을 사용하는지도 중요합니다. 시험을 개발하는 사람들과 AI 학습 시스템을 개발하는 사람들의 인구통계는 미국이나 많은 다른 나라의 공립학교 인구 통계와는 전혀 다릅니다. 이것은 형평성을 위한 개인화 설계 맥락에서 문제입니다."

매튜 L. 버나키,
노스캐롤라이나 대학교 채플힐 학습과학 및 심리학 부교수, 도널드와 저스틴 타벳 우수 학자

"교육 연구자들은 수십 년간 교수 설계가 특정 학습자에게 어떻게 도움이 될 수 있는지 연구해왔으며, 학습에 관한 많은 심리학 이론들이 교사와 설계자가 학습자가 학습 경험에 가져오는 자산을 어떻게 수용하거나 활용할 수 있는지에 대해 생각할 수 있는 플레이북이 될 수 있습니다. 개인화 전문가들은 그 지식을 구축하기보다는, 기존 지식 기반을 설계 체계에 통합하여 학습자의 경험과 결과에 미치는 평가 효과를 개선하는 것으로 알려진 학습자의 적절한 특징에 맞춰 개인화해야 합니다. ... 개인화를 디자인 렌즈로 채택하면, 모든 개인이 자신의 지식과 기술을 공평하게 입증하고 발전시킬 수 있는 기회를 제공하는 학습 및 평가 경험을 설계할 때 개인의 더 완전한 대표성을 구축하는 데 도움이 될 수 있습니다."

오칸 불루트,
앨버타 대학교 측정 및 데이터 과학 부교수

"획일적인 평가에서 개인 맞춤형 평가로 전환함에 따라, 우리는 신뢰성과 타당도와 같은 교육 측정의 핵심 개념을 재고할 필요가 있습니다. 이러한 개념에 대한 더 넓고 포괄적인 정의를 통해 개인 맞춤형 평가의 대규모 채택을 더 잘 지원할 수 있습니다. 개인화는 보다 공평하고 포용적인 학습 환경을 조성함으로써 사회적 문제를 해결할 잠재력을 지니고 있습니다. 개인 맞춤형 평가는 학습자가 자신의 학습 경험과 선택을 통해 자신이 알고 할 수 있는 것을 진정성 있게 보여주도록 힘을 실어줄 것입니다."

닐 헤퍼넌,
ASSISTments 재단 설립자 겸 이사회 회장; 윌리엄 스미스 학장 컴퓨터 과학 교수 및 학습 과학 및 기술 대학원 프로그램 책임자, 우스터 폴리테크닉 연구소

"ETS와 동료들과 함께 형평성을 위한 개인화에 대해 이야기할 수 있어 정말 기뻤습니다. 형성 평가는 앞으로도 중요할 것이며, 제 온라인 수학 플랫폼 ASSISTments.org 이 어떻게 학습을 개인화하는지 설명하기 위해 이 그룹에 참여하게 되어 영광이었습니다."

세레나 매그로건,
AP^® 교육과정, 수업 및 평가 수석 이사 대학 위원회^®

"개인 맞춤형 평가의 핵심은 처방적 학습입니다. 명확한 출력 매개변수와 선제 점수 평가 루브릭을 갖춘 처방적 학습 기회는 학생들이 자신의 작업물에 주인의식, 책임감, 심지어 자부심까지 갖도록 도울 수 있습니다. 이렇게 하면 평가는 학생들에게 도움이 되고, 그들에게 방해가 되지 않습니다."

킨드라 V. 미들턴,
대학원 학업 책임자, 교육심리학 교수,
하워드 대학교

"지난 몇 년간 학습과 평가에서 개인화가 흥미롭고 유망한 발전을 이루는 것을 목격했습니다. 개인화는 모든 학생에게 혜택을 줄 수 있을 뿐만 아니라 공평한 접근성을 제공할 잠재력을 가지고 있습니다. 하지만 개인화에는 적절한 측정을 보장해야 할 책임이 따르지만, 현재 이 움직임은 긍정적인 방향으로 나아가고 있습니다!"

로버트 J. 미슬레비,
메릴랜드 대학교 명예교수, 전 ETS 프레데릭 M. 로드 측정 및 통계학 석좌

"개인화와 사회문화 반응 평가(SCRA)는 학생들의 개인적, 사회적, 문화적, 언어적 배경을 적절히 활용하여 그들이 무엇을 알고 무엇을 할 수 있는지 더 잘 보여준다. 내 강연은 다양한 목적에 적용된 다양한 평가의 특성을 설계, 사용 및 분석하는 데 도움을 줄 증거-추론 프레임워크를 제시한다. 학습에서의 지역 타당성과 대규모 시험 프로그램에서의 점수 비교 가능성 사이에 다른 트레이드오프를 제공하는 설계를 검토한다. 학습 과학과 기술의 발전은 타당성을 높이고, 따라서 타겟 점수 활용에 공정성을 높이는 다양한 접근법을 가능하게 한다."

제시 R. 스파크스,
ETS 수석 연구원

"더 큰 형평성을 위한 개인화 평가에는 많은 도전과 기회가 있습니다. 개인화 구현 방식은 평가 사용 사례에 따라 범위와 질이 다를 수 있습니다 — 예를 들어, 교수와 학습을 지원하는 평가에 개인화를 더 많이 포함시킬 기회가 있을 수 있습니다. 우리는 언제 어떻게, 언제 개인화해야 하는지, 그리고 개인화된 지원이 평가 참여에 더 공평한 접근성을 높이고 학생 성과와 교육 기회에 기여할 수 있는지 이해하는 것이 매우 중요합니다."

예통,
NBME 평가 운영 수석 부사장

"개인 맞춤 평가는 학습자의 성공 경로를 지원하는 형성 공간에서 엄청난 잠재력을 가지고 있습니다. 하지만 개인화 과정에서 평가 설계와 실행의 문화적·사회적 측면을 염두에 두어야 합니다. 한편으로는 배경에 상관없이 모두가 자신이 알고 할 수 있는 것을 공평하게 보여줄 수 있는 공정한 평가를 제공해야 합니다. 다른 한편으로는 평가를 학습자들이 자신의 문화와 가치뿐만 아니라 타인에 대해서도 인식하도록 하는 교육 도구로 활용해야 합니다."