테스트가 설계된 목적에 적합한지 어떻게 판단할 수 있을까요? 이 근본적인 타당성 문제는 테스트 개발자, 연구자, 점수 사용자들에게 큰 관심사입니다. 전문 기준은 테스트 개발자가 이해관계자(즉, 테스트의 영향을 받는 모든 사람)에게 테스트의 의도된 사용이 적절히 뒷받침되거나 정당화된다는 점을 설득해야 한다는 관점을 받아들이게 되었습니다. 이 관점은 테스트 사용을 정당화하는 논증 기반 접근 법에서 공식화됩니다.
논문 『TOEIC® 시험의 타당성 논거를 표현하고 평가한다』는 논증 기반 접근법, TOEIC 시험에서의 구현 및 이해관계자에게 인식되는 이점에 대해 접근성 있게 소개합니다.
논문은 검증의 대표적인 논증 기반 접근법인 평가 사용 논증에 대한 간략한 개요로 시작합니다. 다음으로, TOEIC 테스트에서 검증 논증을 구축하는 과정을 설명합니다.
이 과정에는 테스트 문서화, 모니터링 활동, 연구 등 다양한 출처의 증거가 포함되었습니다. 마지막으로, 논문은 TOEIC 검증 논증이 사용되는 두 가지 주요 방식을 개관합니다: 연구 우선순위 지정과 이해관계자와의 소통입니다.
전반적으로 이 과정은 TOEIC 연구가 TOEIC 시험의 적절한 사용을 지원하기 위해 광범위하고 비판적이며 엄격한 접근법을 취한다는 점을 보여줍니다. 또한 이 연구는 모든 시험 개발자가 지지해야 할 중요한 주장에 집중하여 이해관계자들의 평가 문해력을 향상시키는 것을 목표로 합니다.
논증 기반 테스트 사용 정당화 접근법은 테스트 개발자가 이해관계자(즉, 테스트의 영향을 받는 누구든지)에게 테스트의 의도된 사용이 정당하다는 것을 설득해야 한다는 전제를 전제로 합니다. 이를 위해 테스트 개발자는 테스트 점수를 어떻게 해석하고 의사결정을 내리는 데 사용되어야 하는지에 대해 명확한 주장 을 합니다. 이러한 주장들은 테스트 개발 과정 및/또는 진행 중인 연구에서 나온 문서화를 포함한 증거에 의해 지지되거나 반박됩니다. 테스트 개발자의 주장과 이를 뒷받침할 증거를 검토함으로써, 이해관계자들은 테스트의 의도된 사용이 정당한지 전반적으로 평가할 수 있습니다. 이 접근법은 다음과 같은 용도로 사용됩니다:
평가 사용 논증은 "특정 언어 평가의 개발과 사용을 안내하는 개념적 틀이며, 평가를 바탕으로 우리가 수행하는 해석과 사용"을 포함한다(Bachman and Palmer, 2010, 99). 이 프레임워크는 시험 점수를 어떻게 해석하고 의사결정을 내릴 때 사용되어야 하는지에 대해 시험 개발자가 제기한 계층적 주장 집합으로 구조화된다. 일반적인 형태는 다음과 같다:
위 그림의 각 구성 요소는 주장을 나타냅니다. 가장 높은 수준에서, 시험 개발자는 시험에 기반한 결정의 결과 가 모든 이해관계자 집단에 유익하다고 주 장할 수 있습니다(예: 의사결정 오류가 최소화됨). 이는 점수 해석에 따른 결정 , 즉 결정이 관련 기관(교육, 사회, 조직, 법률)의 가치에 공평하고 민감하다는 주장을 전제로 합니다. 점수를 바탕으로 응시자의 능력에 대한 해석 을 정당화 하기 위해, 시험 개발자는 해석의 의미, 공정성, 일반화 가능성, 관련성 및 충분성에 대해 주장합니다. 마지막으로, 이 모든 주장은 시험 양식, 행정 및 평가자 간에 시험 수행 점수가 일관된다는 근본 주장 에 기반합니다. 따라서 AUA의 각 주장은 다음과 같습니다:
의사결정자와 테스트 개발자 모두 평가 사용을 정당화하는 책임을 공유합니다. 테스트 개발자는 테스트 점수가 일관되어 있으며, 점수가 시험 응시자의 능력에 대한 해석에 사용될 수 있다는 주장을 뒷받침할 증거를 제시해야 합니다. 의사결정자는 결정이 가치에 민감하고 공정하며, 결정의 결과가 유익하다는 것을 입증해야 합니다. 안타깝게도 의사결정자들은 이러한 주장에 대한 충분한 근거(예: 표준 설정 문서, 의사결정 오류 추정)를 제공할 전문성이 부족할 수 있습니다. 따라서 의사결정자와 테스트 개발자 간의 협력을 통해 AUA가 강화될 수 있습니다. 최소한 테스트 개발자는 테스트 사용에 따른 결정과 결과에 대한 주장이 정당화될 수 있는지 판단하기 위해 의사결정자로부터 피드백을 받아야 합니다.
전체적으로 AUA의 구조는 실제 의사결정과 그 결과에 대한 우려를 테스트 개발자의 전통적인 관심사인 신뢰성 과 타당성을 연결하는 포괄적인 테스트 사용을 정당화하는 기초를 제공합니다. 주장, 근거, 뒷받침 및 반박의 포괄적인 목록으로서 테스트 사용에 대한 전체 논거에서 약점을 식별하고 연구 또는 테스트 개발 프로젝트의 우선순위를 정하는 데 활용될 수 있습니다.
마지막으로, 위 그림에서 보듯이 단순한 계층적 주장 집합으로서, AUA는 공정성, 영향력, 신뢰성, 타당성 등 테스트의 유용성을 결정하는 핵심 문제를 보여주는 소통 도구로 사용할 수 있습니다. 개인과 이해관계자 그룹의 우려는 다양하며, 연구의 도전 과제 중 하나는 이해관계자의 평가 문해력을 높이면서 이러한 우려를 일관되게 다루는 것입니다. 우려 사항은 다음과 같습니다:
특정 이해관계자 그룹을 대상으로 한 AUA 버전을 제공함으로써, 강력한 연구 프로그램을 갖춘 테스트 개발자는 이해관계자들이 질문에 대한 답을 찾고 평가 제품의 더 정교한 소비자가 되도록 도울 수 있습니다.
우리는 "새로운 언어 능력 평가의 질과 사용에 대한 근거 만들기: 재설계된 TOEIC 브리지 시험의 타당성 논증"이라는 논문에서 이 접근법이 재설계된 TOEIC 브리지® 시험에 어떻게 적용되었는지에 대한 설명을 제공합니다. 이 논문에서 연구자들은 점수 일관성, 시험 점수 해석, 시험 점수에 따른 결정 및 시험 사용 결과에 관한 구체적 주장을 뒷받침하는 증거를 설명합니다. 이러한 종합은 이해관계자들이 시험이 무엇을 측정하고 어떻게 사용되는지에 대한 실제 주장(및 증거)에 비판적으로 참여하도록 장려합니다. 이러한 수준의 참여는 이해관계자들이 시험이 자신의 요구에 적합한지, 그리고 시험의 효과적인 사용을 촉진하는 역할을 더 잘 이해하는 데 도움을 줍니다.
바흐만, L. F., & 팔머, A. (2010). 실제에서의 언어 평가. 옥스퍼드: 옥스퍼드 대학교 출판부.
슈미드걸, J. (2017). TOEIC® 시험 의 타당성 논거 설명 및 평가 (연구 메모랜덤 번호) RM-13-09). ETS.
슈미드걸, J., 시드, J., 카터 그리섬, E., 그리고 리, L. (2021). 새로운 언어 능력 평가의 질과 사용에 대한 근거 제시: 재설계된 TOEIC 브리지® 테스트 에 대한 타당성 논거 (연구 보고서 번호) RR-21-20). ETS.