NAEP 여름 인턴 블로그 시리즈: 평가에서의 형평성과 공정성에 대해 배우기
2021년 12월 8일
여름 내내 우리는 NAEP 인턴들의 경험을 그들의 직접 말로 조명하고 있습니다.
이번 주 글은 자닌 잭슨과 크리스토퍼 테라자스 두 사람의 관점에서 다룹니다. 올여름, 자닌은 ETS 정책 평가 및 연구 센터(PERC)에서 ETS 수석 연구 과학자이자 전략 고문인 캐서린 밀렛과 협력하여 미래 대학원생 프로필을 탐구하는 프로젝트를 진행하고 있습니다. 크리스토퍼는 ETS 연구 과학자 제프리 펠프스와 카라 카할란 라이투시스, 그리고 NAEP 프로그램의 수석 프로그램 고문 잔 도티-베리와 협력하여 공감 지도를 활용해 NAEP에서 교사와 학생의 관점을 탐구하는 잠재력을 분석하는 프로젝트를 진행하고 있습니다. 다음은 평가의 공정성과 공정성에 대해 직원들로부터 배운 것들에 대한 그들의 최신 견해입니다:
자닌 잭슨:
먼저, 저는 시간이 느려지길 계속 기도하고 있습니다. 여름이 너무 빨리 지나가고 있고, 이 경험이 끝나지 않길 바랍니다. 저와 같은 열정을 가진 사람들을 만나고 대화할 수 있는 기회와 공간이 있다는 것은 정말 큰 영감을 줍니다. 지난 몇 주는 정말 놀라웠지만, 특히 이번 주는 정말 환상적이었습니다.
저와 동료 인턴들은 ETS 연구개발 직원인 마이클 워커, 카라 카할란 라이투시스, 랜디 베넷, 헤일리 렘프를 만나 평가와 학습에서의 공정성, 형평성, 접근성에 대해 배우고 논의했습니다. 평가의 공정성과 형평성 문제는 ETS의 오랜 초점이었다는 점은 고무적입니다. 패널에 따르면, 차별적 문항 기능(DIF) 분석과 문항 내용 검토를 통해 편견을 식별, 제거, 방지하는 '해를 끼치지 않기'라는 노력이 항상 이루어져 왔습니다. 지속적인 해를 끼치지 않는 노력 외에도, 사회 정의에 기여하는 학습 도구와 평가 제품 개발에 대한 추가적인 노력도 있습니다. 더 나아가 AI 관점에서 ETS는 유니버설 디자인 포 러닝(UDL) 프레임워크에서 얻은 통찰을 통합하여 처음부터 끝까지 접근 가능하고 공정한 사용자 경험을 염두에 두고 제품을 설계하도록 많은 노력을 기울이고 있습니다. 이런 종류의 작업은 많은 고민과 연구를 필요로 하며, 다양한 목소리와 경험이 논의에 포함되도록 노력하고 있습니다. 그것이 바로 월요일 일이었습니다.
화요일에 우리는 "문항의 생명"에 대해 배웠습니다. 개념화부터 관리, 채점과 보고에 이르기까지, 단 하나의 시험 문항을 만드는 데 수개월간의 노력이 들어갑니다. 누가 알았겠습니까?! 심리측정학자가 되려는 저로서, 평가 개발에 탁월함으로 유명한 기관에서 각 단계를 자세히 배우면서 이해가 기하급수적으로 늘었습니다.
이번 주에는 저희와 배경과 관심사가 비슷한 ETS 직원들과 매칭되었고, 프로젝트에서 잠시 벗어나 ETS에서의 취업 경로, 일상 업무 경험, 그리고 그와 관련된 성공과 도전에 대해 이야기를 나눌 수 있었습니다. 운 좋게도 신제품 개발팀의 켈시 토마스와 매칭되어 즐겁고 유익한 대화를 나누었습니다. 지금까지 만난 모든 직원들처럼, 켈시는 제 아이디어와 관점을 들어주었고, 제 연구에 대한 통찰을 제공할 수 있는 다른 ETS 직원들을 소개해 주었습니다. 그 점에 대해 감사하게 생각합니다.
한 주의 마무리를 위해 각 대학의 졸업생들을 만날 수 있었습니다. 모건 주립대학교 동문인 아이샤 토레스를 만나 매우 흥미로웠는데, 그녀는 대학에서의 교육과 경험이 ETS에서의 업무에 어떻게 도움이 되었는지 공유했습니다. 우리는 교육과정 정렬, 네트워킹, 다양성 교육에 대해 자세히 이야기했고, 대화가 끝날 무렵 저는 모건 주립대학교이자 국가적 보물인 HBCU에 다니는 대학원생이라는 사실에 더욱 자부심을 느꼈습니다.
ETS에서의 경험은 매주 더 좋아지고 있습니다. 저는 다른 사람들에게 의미 있는 영향을 미칠 수 있는 연구에 기여하고 있다는 것을 알고 있습니다. 정책 평가 및 연구 센터(PERC)의 멘토들과 팀원인 캐서린 밀렛, 마리솔 케벨슨, 안잘리 스리바스타바 덕분에 작가이자 데이터 분석가로서 짧은 시간 동안 성장할 수 있었습니다. 아침에 일어나 출근하는 것이 정말 기쁩니다. 다음 주가 기대됩니다.
크리스토퍼 테라자스:
지난 한 주는 평가의 공정성과 공정성에 대해 논의하는 세미나에 참여할 수 있었습니다. 이 주제는 제게 매우 소중한 주제입니다. 지난 3년간 교실 교사로 일했기 때문입니다. 그 공간에서 저는 젊은이들의 목소리, 경험, 정체성을 존중하는 환경을 만들고 육성할 수 있었습니다. 이것이 바로 공정성의 실천이었습니다.
대통령 임명자이자 ETS 학습 및 평가 연구의 타당성, 공정성, 형평성 연구센터 소장인 마이클 워커가 세션을 이끌었고, 각 인턴이 자신에 대해 조금 나눌 수 있는 시간을 제공했습니다. 이를 통해 모든 인턴들이 서로의 목소리, 경험, 그리고 살아있는 정체성을 들을 수 있는 공간을 만들었습니다. 그는 배려심 있고 강력한 분위기를 조성했습니다. 그는 제가 교실 교사로서 했던 일을 정확히 했습니다. 마이클은 또한 강력한 의견을 남겼습니다. 그는 "ETS가 형평성을 촉진하기 위해 하는 중요한 노력 중 하나는 다양한 인턴 그룹을 초대해 우리와 함께 일하고 여러분이 아는 것을 가르치는 것이기 때문입니다; 그리고 연락을 유지하고 앞으로 우리와 협력하여 이 분야를 올바른 방향으로 이끌 수 있도록 하는 것입니다."라고 말했습니다. 전화 통화에 참여한 또 다른 ETS 멤버는 수석 연구 과학자 카라 카할란 라이투시스였습니다. 카라는 세션 중 한 가지 말을 했는데, 저는 그 말이 강력하다고 느꼈습니다. 그녀는 "... 단순히 다양한 팀을 갖는 것 이상이고, 사람들이 목소리를 낼 수 있도록 힘을 실어주는 것입니다."라고 말했습니다.
우리 회의에서 나온 이런 유형의 발언은 이 두 ETS와 ETS가 교육 평가의 형평성과 공정성을 높이는 데 얼마나 큰 가치를 지니고 있는지를 보여줍니다. 기관들이 의문을 제기하는 지금 이 작업이 그 어느 때보다 중요하다는 점은 분명합니다.
자닌 잭슨은 현재 메릴랜드주 볼티모어에 위치한 모건 주립대학교에서 심리측정학 박사 과정을 밟고 있는 NAEP-여름 박사 예비 연구 경험(SPRE) 인턴입니다. 크리스토퍼 테라자스는 현재 텍사스 대학교 오스틴 캠퍼스에서 박사 과정을 밟고 있는 NAEP-여름 박사 예비 연구 경험 인턴입니다.