설계에 의한 시험 타당성: TOEFL^® 필수™ 시험을 위한 프레임워크

2021 년 6월 2일

시험이 영어 능력의 유효하고 신뢰할 수 있는 척도가 되면서도 학생 친화적이고 편리한 시험 경험을 제공할 수 있는 방법은 무엇일까요? 설계에 의한 것입니다. 최근 출시된 TOEFL^® Essentials™ 시험은 시험 응시자들이 신뢰하는 양질의 기관과 합리적인 접근성을 갖춘 이상적인 조합을 제공하기 위해 특별히 설계되었습니다. 유효하고 신뢰할 수 있는 정보를 제공하는 것은 새로운 개념은 아니지만, 최근 발표된 시험은 짧은 시간 내에 합리적인 비용으로 이를 달성하며, 응시자에게 친숙하고 흥미로운 형식을 고안했습니다. 새로운 시험 출시와 함께 50페이지 분량의 출판물인 'TOEFL^® Essentials™ Test 2021 디자인 프레임워크'(PDF)가 발간되었으며, 이 문서에는 시험 내용과 채점 절차를 보여주고 점수 활용을 뒷받침하는 상세한 연구 의제가 제시되어 있습니다.

프레임워크가 시험 점수의 타당성을 어떻게 지원하는지에 대해

시험의 설계 프레임워크는 TOEFL Essentials 시험의 혁신적인 설계 방식 덕분에 기관들이 신뢰할 수 있음을 보여주기 위해 공개되었습니다. TOEFL Essentials 시험의 설계는 ETS의 언어 학습 연구자, 콘텐츠 개발자, 심리측정학자, 그리고 TOEFL^® 프로그램 내 비즈니스 중심 리더들의 협력의 결과입니다. 또한 미국, 캐나다, 영국의 약 250명의 점수 사용자와 전 세계 7,000명 이상의 응시자를 포함한 광범위한 시장 조사의 의견도 반영되었습니다.

새로운 시험에는 전 세계 수천 명의 응시자를 대상으로 시범 시험을 진행한 과제들이 포함되어 있으며, 언어 능력의 기초적 측면과 학업 및 일상생활 맥락에서의 과제 기반 의사소통 언어 능력이라는 두 가지 핵심 차원을 다룹니다. 이 핵심 차원들을 결합함으로써, TOEFL Essentials 시험은 단순히 영어 지식뿐만 아니라 영어를 사용할 때 할 수 있는 일을 측정합니다. 집에서 진행되는 다른 언어 시험에서 발견되는 제한적이고 비진정성 있는 과제와 달리, TOEFL Essentials 시험의 과제들은 실제 환경에서 응시자가 얼마나 성공할 수 있을지에 대한 직접적인 정보를 제공하도록 설계되었습니다. 예를 들어, 응시자는 학문적 대화에 기여하거나 교수님이나 친구들에게 편지를 써야 합니다.

시험 설계 방식 외에도, TOEFL Essentials는 혁신적인 다단계 적응형 시험 방법론을 자랑합니다. 이 방법론은 듣기, 읽기, 쓰기 섹션을 두 부분으로 나누어 시험 응시자의 개별 언어 능력에 더 잘 맞춰 언어 능력 측정을 효율적으로 제공합니다. 첫 번째 부분에는 평균 난이도의 시험 과제가 포함되어 있으며, 이 부분에 대한 응답이 두 번째 부분의 과제 난이도를 결정합니다. 가정 시험이 '즉석에서 적응성'에 의존하는 것과 달리, TOEFL Essentials 시험의 다단계 적응형 방법론은 전문가 평가 전문가가 각 단계별로 구성하고 응시자의 숙련도 수준에 맞춘 견고한 의사소통 과제를 제공할 수 있게 합니다.

연구의 유산

시험의 설계 프레임워크는 사용자가 시험을 신뢰할 수 있는 여러 이유뿐만 아니라 타당성 증거도 제시합니다. 포괄적인 보안 절차, 투명한 점수 정보, 개인 비디오 진술서 포함 등으로 TOEFL Essentials 시험은 신뢰할 수 있고 응시자에게 영어 능력을 입증할 수 있는 시험이 됩니다. 50년 넘게 TOEFL 평가 계열 시험은 고품질의 엄격한 연구로 뒷받침되어 왔으며, TOEFL 본질도 예외가 아닙니다. TOEFL 평가 계열 시험의 다른 모든 시험과 마찬가지로, TOEFL Essentials 시험 연구 프로그램은 시험 개발, 점수 해석 및 점수 활용의 모든 단계를 진행합니다. 이 연구 프로그램은 논증 기반 검증 방식을 따르며, 수집해야 할 실증적 증거를 결정하는 일련의 질문으로 제시됩니다. 이 연구 프로그램은 TOEFL 시험위원회(COE)가 감독하는데, 이 위원회는 전 세계에서 모인 11명의 전문가로 구성된 패널로, 이들 모두 영어를 제2외국어로 가르치고, 학습하며, 시험과 관련된 학문적 분야에서 전문적 인정을 받은 인물입니다. 

TOEFL Essentials 시험에 대해 더 알고 싶다면 https://www.ets.org/toefl/score-users/essentials/about.html 를 방문 하세요.  

스피로스 파파게르지우는 ETS의 수석 연구원으로 재직 중입니다.