TOEIC 점수 해석의 타당성과 공정성

이 논문은 네 가지 의사소통 능력을 측정하기 위해 재설계된 TOEIC 브리지 평가의 동기, 평가의 목적, 그리고 기초부터 중급 학습자를 위한 일상 상황에서의 영어 듣기, 읽기, 말하기, 쓰기 능력을 어떻게 정의했는지를 설명합니다. 이 정보는 시험 개발과 이후 타당성 연구의 기초를 제공합니다.

더 읽기

재설계된 TOEIC 브릿지 시험은 증거 중심 설계(ECD)라는 평가 개발 방법론을 사용하여 개발되었습니다. 본 논문은 응시자의 기초에서 중급 영어 능력에 대한 증거를 도출하는 과제 설계에 ECD가 어떻게 사용되었는지, 그리고 시험 개발 과정에서 얻은 다양한 데이터 출처가 문항 및 시험 설계 결정에 어떻게 영향을 미쳤는지 문서화합니다.

더 읽기

이 논문은 재설계된 TOEIC 브리지 시험 개발에 기여한 현장 연구 결과를 보고합니다. 통계 분석은 재설계된 TOEIC 브리지 시험 점수가 일관되어 있으며, 시험 점수가 기초부터 중급 수준의 영어 능력에 대한 의미 있는 지표임을 뒷받침하는 초기 증거를 제공합니다.

더 읽기

이 논문은 재설계된 TOEIC Bridge 시험 점수와 언어 능력 자기평가 간의 관계를 조사한 두 가지 연구를 설명합니다. 결과는 시험 점수가 언어 능력의 의미 있는 지표이며, 시험 점수가 유럽 공통 언어 기준(CEFR)과 같은 언어 능력 기준에 따라 언어 능력 수준을 의미 있게 구분하는 데 사용될 수 있다는 주장을 뒷받침하는 증거를 제공합니다.

더 읽기

이 연구는 TOEIC^® 스피킹 시험 점수가 국제 직장 전문가들이 평가하는 응시자의 의사소통 효과에 대한 좋은 예측 변수인지 조사했습니다. 10개국의 전문가들이 다양한 의사소통 상황에서 응시자의 의사소통 효과를 평가하는 설문조사에 참여했습니다. 결과는 TOEIC 스피킹 시험 점수가 전문가들이 의사소통 효과를 인식하는 것과 비교하여 의미 있는 숙련도 평가임을 입증합니다.

더 읽기

이 연구는 TOEIC 글쓰기 시험 점수가 국제 직장 전문가들이 평가하는 시험 응시자의 글쓰기 능력의 "기능적 적정성"(또는 의사소통 효과성)을 좋은 예측 변수로 평가하는지 조사했습니다. 10개국의 전문가들이 다양한 의사소통 상황에서 응시자의 글쓰기 기능적 적정성을 평가하는 설문조사에 참여했습니다. 결과는 TOEIC 글쓰기 시험 점수가 전문가들이 글쓰기의 기능적 적정성을 인식하는 것과 비교하여 의미 있는 숙련도 평가임을 입증합니다.

더 읽기

이 논문은 재설계된 TOEIC 브리지 시험에 대한 "타당성 논증"을 요약합니다. 타당성 논증은 점수 일관성, 타당성 및 공정성, 적절한 시험 사용 및 긍정적 영향에 관한 네 가지 주요 주장으로 구성됩니다; 이 주장들은 측정 품질과 시험 점수의 의도된 용도에 대해 일관된 서사를 제공합니다. 타당성 논증에서 제시된 주장과 뒷받침 증거를 고려함으로써, 독자들은 재설계된 TOEIC 브리지 시험이 자신의 상황에 적합한지 더 잘 평가할 수 있을 것입니다.

더 읽기

이 논문은 TOEIC 시험 점수가 글로벌 직장 환경에서 응시자들의 영어 의사소통 능력을 유효한 지표로 제공하기 위해 수행된 시험 개발 및 연구 프로젝트에 대한 비기술적 개요를 제공합니다.

TOEIC 시험의 주요 가치는 그 타당성에 있으며, 이는 시험이 우리가 주장하는 대로 얼마나 잘 작동하는지로 정의할 수 있습니다.

더 읽기

시험 점수를 검토한 결과, TOEIC 시험은 서로 다른 기술이지만 관련된 기술을 측정하며, 이 두 시험을 종합하면 영어 능력에 대한 상당히 완전한 그림을 제공한다는 것을 발견했습니다. 이 발견은 언어 능력 평가에 있어 네 가지 기술 접근법이 매우 중요하다는 추가 증거를 제공합니다.

더 읽기

영어 능력 평가는 대상 시험 집단을 대상으로 설계되었으며, 다양한 인구통계학적, 사회문화적, 교육 배경을 가진 응시자를 포함할 수 있습니다. 시험은 공정하다고 가정하며, 응시자 하위 그룹이 획득한 점수는 동일한 의미를 가집니다. 시험 공정성을 평가하는 한 가지 방법은 각 하위 그룹에 대해 연계된 시험을 만들어 해당 시험 점수를 원래 응시한 시험 점수와 비교하는 것입니다.

더 읽기

시험 점수의 의미를 더 잘 이해하고 의사결정을 용이하게 하기 위해, 점수 사용자는 두 가지 다른 시험 점수가 어떻게 연관되어 있는지 이해해야 할 수 있습니다. 두 가지 다른 시험 점수 간의 관계는 일반적으로 두 시험 점수 간의 대응 관계를 나타내는 '일치표'에 요약됩니다. 안타깝게도 일부 색조표는 연구 지원 없이 제작 및 배포되어, 응시자에 대한 부정확하고 불공정한 판단을 초래할 수 있습니다.

더 읽기

이 연구는 TOEIC 청취 및 읽기 테스트에서 수행을 가장 잘 설명하는 통계 모델이 무엇인지 결정하기 위해 '요인 분석'이라는 통계 기법을 사용했습니다. 연구자들은 읽기 능력과 듣기 능력을 별개의 능력으로 표현한 모델(2요인 모델)이 점수 해석 방식과 일치하여 수행 수행을 가장 잘 설명한다는 것을 발견했습니다.

더 읽기

시험 프로그램에서는 시험 양식의 과도한 노출을 방지하고 응시자가 시험 내용을 미리 알게 되는 가능성을 줄이기 위해 여러 형태의 시험을 사용한다. 대체 시험 형태의 통계적 난이도에 약간의 차이가 있을 수 있기 때문에, 시험 점수 연동(test score linking)이라는 통계 절차가 이러한 난이도 차이를 조정하여 시험 양식을 비교 가능하게 만드는 데 일반적으로 사용되어 왔다.

더 읽기

전통적으로 연구자들은 언어 시험의 과제가 실제 세계에서 사용되는 과제와 얼마나 일치하는지를 나타내는 용어로 '진정성'이라는 용어를 사용해 왔으며, 진정성은 과제와 시험에서 원하는 특성입니다. 이 백서는 TOEIC 스피킹 시험의 여러 문제 형식이 어떻게 더 다양한 실제 상황을 포함하도록 확장되었는지 설명합니다.

더 읽기

이 논문은 네 가지 기술 언어 테스트가 누군가가 영어로 의사소통할 수 있는지 평가하는 가장 좋은 방법임을 설명하며, 이 접근법이 어떻게 다음을 가능하게 하는지 설명합니다:

• 시험 응시자에게 더 공정한 평가 방식을 제공하는 결과를 낳습니다
• 테스트 사용자의 결정 품질을 향상시킵니다
• 의사결정자, 교사, 학습자에게 더 긍정적인 영향을 창출합니다

더 읽기

TOEIC 리스닝 테스트는 글로벌 직장과 관련된 문항이나 과제를 포함하며, 다양한 진정성 있는 맥락을 포함합니다. 점점 더 많은 시험 양식의 필요성이 증가함에 따라, TOEIC 리스닝 테스트의 중요한 목표 중 하나는 다양한 맥락에서 많은 문항 풀을 유지하여 문항 생성 효율성을 높이는 것이었습니다.

더 읽기

이 연구는 특정 언어 능력(예: 말하기)에 대한 숙련도를 해당 기술에 해당하는 TOEIC 시험 점수뿐만 아니라 다른 기술의 TOEIC 시험 점수도 고려하여 더 잘 추정할 수 있는지 조사했습니다. 결과는 이 주장을 뒷받침하며, 네 가지 기술 TOEIC 시험 점수를 합치면 단독 기술보다 영어 능력의 더 타당한 측정을 제공한다는 점을 시사합니다.

더 읽기

이 연구는 다음을 조사합니다:

• TOEIC 시험 점수가 한 능력 모두에 걸친 응시자들의 영어 능력 자기 평가와 상관관계가 어느 정도인지에 대한 정도입니다
• 한 영어 능력(예: 읽기)이 여러 TOEIC 시험 점수(즉, 듣기, 말하기, 쓰기)를 통해 더 정확하게 추정하거나 예측할 수 있는지에 대해

더 읽기

차별문항 기능(DIF)은 예상치 못한 편향이 있는 문항이나 과제를 식별하는 통계적 절차로, 특정 시험 그룹에 부적절하게 유리하게 작용하는 경우를 식별하는 데 사용됩니다. 말하기 및 작문 테스트의 도전 과제 중 하나는 수행 기반 또는 '구성적 응답' 시험을 분석할 수 있는 검증되고 실용적인 DIF 기법의 부재입니다. 본 논문은 여러 기법을 조사하고 점수 해석의 공정성을 보장하기 위한 연구가 어떻게 진행되고 있는지 보여줍니다.

더 읽기

이 논문은 고전적 시험과 2006년에 새롭게 설계된 TOEIC 듣기 및 읽기 시험의 내용, 신뢰성, 난이도를 비교합니다. 재설계된 시험들은 현재 언어 능력 모델을 더 잘 반영하기 위해 약간 다른 문항 유형을 포함했지만, 각 버전에서 시험은 유사하다고 판단되었습니다.

더 읽기

증거 중심 설계(ECD)는 평가가 무엇을 측정하고 시험 점수를 기반으로 기술 해석을 지원하는지 명확히 명확히 하는 평가 개발 방법론입니다. 이 논문은 TOEIC 말하기 및 작문 시험 개발에 사용된 ECD 과정을 설명합니다. 시험 설계 과정을 통해 수집된 증거는 TOEIC 말하기 및 작문 시험 점수 해석의 타당성을 입증하는 기초 증거를 제공했습니다.

더 읽기

이 논문은 TOEIC 스피킹 및 쓰기 시험 개발에 기여한 파일럿 연구 결과를 보고합니다. 시험 점수 신뢰성 분석에서는 여러 유형의 점수 일관성, 예를 들어 평가자 간 신뢰도(여러 평가자가 점수에 동의한 경우)와 내부 일관성(동일 시험 문항 간 상관관계를 기반으로 한 척도) 등의 증거가 발견되었습니다.

더 읽기

시험이 응시자의 요구를 계속 충족시키고 점수를 매기도록 하기 위해, 시험 프로그램은 주기적으로 평가를 재검토하는 것이 중요합니다. 이러한 이유로, 영어의 끊임없이 변화하는 사용과 개인들이 글로벌 직장 및 일상에서 주로 소통하는 방식을 따라가기 위해, 2016년 5월 최초 출시된 TOEIC 듣기 및 읽기 시험이 설계되어 처음 출시되었습니다.

더 읽기

2006년 TOEIC 듣기 및 읽기 시험 재설계와 같은 시험 재설계 프로젝트 이후에는 시험 점수가 여전히 의미 있게 해석될 수 있다는 증거를 제공하는 것이 중요합니다. 이 연구는 TOEIC 듣기 및 읽기 시험 재설계 점수와 응시자들이 자신의 영어 능력에 대해 인식하는 것 간의 관계를 조사했습니다. 연구자들은 시험 점수와 응시자들의 인식 사이에 중간 정도의 상관관계가 있음을 발견하여, 재설계된 TOEIC 듣기 및 읽기 시험 점수가 영어 능력을 의미 있게 나타내는 지표임을 입증했습니다.

더 읽기

이 연구는 TOEIC 브리지 점수와 응시자들이 영어로 일상적인 언어 과제를 수행하는 능력에 대한 자기 평가를 비교하고자 했습니다. 결과는 시험 점수가 응시자의 자기 평가와 잘 상관이 있음을 시사하며, TOEIC 브리지 점수가 영어 능력의 유효하고 공정한 지표임을 뒷받침하는 추가 증거를 제공합니다.

더 읽기

본 연구는 TOEIC 리스닝 및 리딩 점수와 TOEIC 스피킹 및 쓰기 점수 간의 관계를 조사하여, 리스닝 및 리딩 점수가 스피킹 및 라이팅 점수의 예측 변수로 사용되어야 하는지, 또는 그 반대의 경우도 있는지 여부를 판단합니다. 연구 결과는 측정된 기술에 대한 시험 점수의 타당성을 지지합니다(예: 리스닝 및 리딩 시험 점수는 리스닝 및 리딩 기술에 대한 의미 있는 해석을 제공합니다).

더 읽기

이 연구는 TOEIC 말하기 및 쓰기 시험 점수와 학생들이 일상 영어 과제를 수행하는 능력에 대한 자기 평가를 비교하고자 했습니다. 연구진은 시험 점수와 자기 평가 사이에 비교적 강한 상관관계를 보고했습니다. 이 발견은 TOEIC 말하기 및 작문 시험 점수가 영어 능력의 지표임을 뒷받침하는 추가 증거를 제공합니다. 이 연구는 Powers, Kim, Weng, Van Winkle(2009)로도 출판되었습니다.

더 읽기

척도 고정은 시험 점수를 점수 범위나 숙련도 수준으로 묶는 과정입니다. 통계적 방법과 전문가의 판단을 결합하여 각 숙련도 수준에서 응시자들이 일반적으로 보여주는 기술과 지식을 설명합니다. 이 연구 보고서는 의미 있는 점수 해석을 용이하게 하는 TOEIC 청취 및 읽기 시험의 척도 고정 과정을 설명합니다.

더 읽기

이 보고서는 2016년 TOEIC 리스닝 및 리딩 시험을 업데이트하기 위한 프로젝트의 목표와 결과를 설명합니다. 특히 국제 직장 환경에서 영어를 통한 의사소통 사용은 지속적으로 진화하고 있습니다. 따라서 TOEIC 리스닝 및 리딩 시험은 시험 내용이 직장과 일상생활에서의 최신 의사소통을 반영하는지 주기적으로 재검토하여 영어 능력에 대한 의미 있는 해석을 지원하고 영어 교수와 학습에 긍정적인 영향을 촉진합니다.

더 읽기

시간이 지남에 따라 언어 능력의 개념화가 현재 이론과 일치하고 시험 과제가 실제 과제를 계속 반영하는지 시험 설계를 재검토하는 것이 중요해집니다. 이 보고서는 TOEIC 듣기 및 읽기 시험 재설계 노력의 목표, 이론적 일치, 절차 및 결과를 개괄합니다.  

더 읽기

이 논문은 2006년 재설계된 TOEIC 리스닝 및 리딩 시험의 현장 연구 결과를 설명하며, 문항 및 시험 난이도, 신뢰성, 고전 TOEIC 듣기 및 읽기 시험과의 상관관계 분석을 포함합니다. 결과는 2010년 Liao, Hatrak, Yu의 비교 연구와 일치하는데, 이 연구는 재설계된 시험의 신뢰성 증거를 발견하고, 재설계된 시험 점수가 고전적인 TOEIC 듣기 및 읽기 시험 점수와 유사하게 해석되고 활용될 수 있음을 제안했습니다.

더 읽기

이 연구는 TOEIC 브리지 점수와 교사들이 영어로 일상 언어 과제를 수행하는 시험 응시자들의 능력 평가를 비교하였습니다. 저자들은 이러한 평가와 시험 점수 간에 중간 정도의 상관관계가 있다고 보고했으며, 이는 TOEIC 브리지 시험 점수가 영어 능력의 지표로서 타당하다는 근거를 뒷받침합니다.

더 읽기

이 연구는 TOEIC 브리지 점수가 학생 자기 평가 및 교사의 학생 평가(영어 능력 측정 기준)와 어느 정도 일치하는지 평가하고자 했습니다. TOEIC 브리지 점수는 이 두 측정값과 중간 정도의 상관관계를 보였으며, 이는 TOEIC 브리지 점수가 영어 능력의 의미 있는 지표로 해석될 수 있음을 입증하는 타당성 증거를 제공합니다.

더 읽기

이 연구는 TOEIC 브리지 점수와 학생들의 영어 능력 평가 간의 관계를 조사하였습니다. TOEIC 브리지 시험 점수는 자기보고한 읽기 및 듣기 능력과 상관관계가 있어, TOEIC 브리지 시험 점수가 영어 읽기 및 듣기 능력의 유효하거나 의미 있는 지표임을 입증했습니다.

더 읽기