TOEFL® 필수™ 평가: 새로운 시험의 설계 및 개발
2021년 6월 16일
ETS의 모든 새로운 시험은 신중한 설계와 개발 과정을 통해 만들어집니다. TOEFL® 평가 제품군의 최신 버전인 TOEFL® Essentials™ 시험도 예외는 아닙니다. TOEFL® Essentials™ Test 2021 디자인 프레임워크에 자세히 설명되어 있듯이, TOEFL Essentials 시험은 응시자의 영어 의사소통 능력을 강조하면서 효율성을 극대화하는 디지털 제공 영어 능력 평가입니다. 다단계 적응형 시험 설계를 활용하여 유럽 공통 기준 체계(Common European Framework of Reference)의 전체 숙련도 범위를 측정할 수 있게 합니다. 여기서는 엄격한 과제 설계와 전문가의 시험 개발 관행이 새로운 시험을 만드는 데 중요한 역할을 강조합니다.
ETS의 평가 과제 설계 접근 방식
새로운 TOEFL Essentials 시험의 과제들은 단순히 언어 지식이 아니라 응시자가 영어로 할 수 있는 것을 도출하기 위해 과제 기반 원칙에 기반해 설계되었습니다. 특히 이런 시험을 통해 응시자들이 영어로 효과적으로 소통해야 하는 실제 환경에서 얼마나 성공할지 예측할 때 더욱 중요합니다.
평가 과제 설계 방식을 설명하기 위해 TOEFL Essentials 시험의 글쓰기 과제를 살펴보겠습니다. 글쓰기 과제는 응시자에게 글쓰기 목적과 청중을 부여하는 동시에 실제 세계에서 경험하는 내용을 반영하도록 설계되었습니다. 예를 들어, 그림을 묘사하는 한두 문장을 쓰는 것은 목적이나 대상이 없는 꽤 전형적인 시험 과제입니다. 같은 그림 설명 과제는 응시자들이 자신의 소셜 미디어 계정에 사진을 올리고 관련 경험에 대한 상세한 설명을 작성하는 모습을 상상할 때 훨씬 더 흥미롭고 의미 있게 됩니다. 이런 과제들은 응시자들이 영어로 무엇을 할 수 있는지에 대해 많은 것을 알려줍니다.
이 글쓰기 과제들은 또한 다양한 숙련도 수준의 응시자들의 글쓰기 능력을 최대한 효과적으로 평가하도록 설계되었습니다. 예를 들어, 소셜 미디어 게시물 과제는 연구 결과, 초급 숙련도 학습자들을 효과적으로 구분하는 것으로 나타났습니다. 하지만 고학도 응시자들에게는 효과가 제한적이며, 모두 좋은 성적을 낼 가능성이 높습니다. 이러한 고숙련도 학습자에게 학업 토론 과제는 시험 응시자에게 더 정교한 언어 사용(예: 어휘, 문법, 담화 표지)을 요구하여 과제를 성공적으로 완수하도록 도전하며, 그 결과 학습자의 능력 차이를 구분합니다. 전반적으로 TOEFL Essentials 시험의 작성 과제(및 기타 과제)는 응시자가 영어로 할 수 있는 것을 이끌어내고, 명확한 맥락과 목적을 제공하며, 다양한 숙련도 수준의 학습자들 간 최대 구분을 가능하게 하도록 설계되었습니다. 이 모든 기능은 시험의 효과를 최적화하고 응시자의 영어 실력을 정확하게 해석할 수 있도록 지원합니다.
선도적인 평가 개발 전문성을 활용하기
이러한 설계 원칙을 활용하여 ETS의 평가 전문가들은 TOEFL Essentials 시험에서 평가되는 네 가지 기술(듣기, 읽기, 쓰기, 말하기)에 대해 새로운 과제를 개발했습니다. 디자인 과정이 다단계(예: 프로토타입 단계, 파일럿 테스트, 현장 테스트)였던 것처럼, 새로운 시험 내용 개발도 복잡하고 다단계적인 과정을 포함합니다. 이 개발 과정의 전반적인 목표는 생성된 콘텐츠가 ETS의 품질과 공정성 기준을 충족하고, 내용, 난이도, 참여도 수준에서 유사한 시험 경험을 제공하도록 하는 것입니다.
평가 전문가들은 이 과정의 중심에 있으며, 처음부터 끝까지 이끕니다. 평가 전문가들은 TOEFL Essentials 시험팀의 핵심 멤버로, 대학 수준에서 언어 학습 또는 관련 과목을 교육받은 전문가들이며, 대다수는 국제적인 K–12 학교, 대학, 대학교에서 강의한 경험이 있습니다. 많은 평가 전문가들은 영어를 사용하는 대학에서 대학원 학위를 취득한 영어 학습자이기도 합니다.
콘텐츠 개발 과정 전반에 걸쳐 평가 전문가들은 상세한 사양을 따릅니다. 이 사양은 시험 설계 단계에서 생성되며, 시험 내 모든 과제나 문항의 생성 및 검토에 사용됩니다. 예를 들어, TOEFL Essentials 시험의 작성 과제는 텍스트의 유형과 길이, 응시자에게 제공하는 지침, 사용된 오디오, 그래픽, 사진 등에 대한 명확한 명시사항을 포함합니다. 시험 과제가 작성된 후에는 다양한 평가 전문가들로부터 다수의 철저한 검토와 별도의 편집 및 공정성 검토를 받습니다.
평가 개발을 위한 기술 통합
시험 개발 과정을 더욱 효율적으로 돕기 위해 최첨단 기술 도구가 폭넓게 활용됩니다. 예를 들어, 평가 전문가들은 종합 플랫폼을 사용하여 문항을 생성, 검토 및 저장합니다. 일부 문항 유형에 대해서는 평가 전문가들이 기술 지원 문항 생성(TAIC)이라는 독자적인 기술 기능을 사용하여 문항 개발 과정을 원활하게 합니다. TAIC는 TOEFL Essentials 시험을 위해 특별히 개발된 과제 내용 명세와 난이도 매개변수를 통합합니다. 하지만 TAIC를 통해 해당 문항의 내용이 생성된 후, 평가 전문가들이 수행하는 엄격한 다단계 검토 과정을 거쳐 시험 응시자에게 제시되기 전에 개발된 문항이 ETS의 기준과 기대를 충족하는지 확인합니다.
이러한 신중하고 엄격한 설계 및 개발 관행이 새로운 TOEFL Essentials 시험을 신뢰할 수 있는 시험으로 만들어, 응시자들이 의사소통을 위해 영어를 사용할 수 있는 능력에 대한 신뢰할 수 있는 정보를 제공합니다.
새로운 TOEFL Essentials 시험에 대해 더 알고 싶다면 https://www.ets.org/toefl/score-users/essentials/about.html 를 방문해 주세요
파블로 가르시아 고메즈는 ETS의 평가 디자이너입니다. 쇼코 사사야마는 ETS의 부연구원입니다.