점수 일관성

TOEIC 점수는 일관되고 신뢰할 수 있습니다. TOEIC 연구 프로그램의 연구는 점수가 언어 능력과 관련된 요인에만 영향을 받도록 돕습니다. 점수 일관성 또는 신뢰성을 평가할 때는 시험 문항, 시험 양식, 시험 행사 또는 시험 행정 및 평가자 등 여러 측면이 고려됩니다.

재설계된 TOEIC 브리지® 테스트를 위한 현장 연구 통계 분석

이 논문은 재설계된 TOEIC 브리지 시험 개발에 기여한 현장 연구 결과를 보고합니다. 통계 분석은 재설계된 TOEIC 브리지 시험 점수가 일관되어 있으며, 시험 점수가 기초부터 중급 수준의 영어 능력에 대한 의미 있는 지표임을 뒷받침하는 초기 증거를 제공합니다.

새로운 언어 능력 평가의 품질과 사용에 대한 근거 제시: 재설계된 TOEIC 브리지® 테스트의 타당성 논거

이 논문은 재설계된 TOEIC 브리지 시험에 대한 "타당성 논증"을 요약합니다. 타당성 논증은 점수 일관성, 타당성 및 공정성, 적절한 시험 사용 및 긍정적 영향에 관한 네 가지 주요 주장으로 구성됩니다; 이 주장들은 측정 품질과 시험 점수의 의도된 용도에 대해 일관된 서사를 제공합니다. 타당성 논증에서 제시된 주장과 뒷받침 증거를 고려함으로써, 독자들은 재설계된 TOEIC 브리지 시험이 자신의 상황에 적합한지 더 잘 평가할 수 있을 것입니다.

TOEIC® 청취 및 독해 시험 품질을 지원하기 위한 점수 변화 패턴 모니터링

TOEIC 프로그램과 같은 대규모 고위험 시험 프로그램에서는 일부 응시자가 시간에 걸쳐 한 시험을 여러 번 치르기도 합니다. 이러한 이른바 '반복 시험'의 점수 변화 패턴은 시험의 전반적인 질(예: 신뢰성, 타당성, 의도된 용도)을 뒷받침하는 데 분석될 수 있습니다. 본 연구는 앞서 언급한 점수 변화 패턴을 검토하여 TOEIC^® 듣기 및 읽기 시험 점수의 신뢰성과 타당성을 평가하는 것을 목표로 했습니다.

하위 그룹 간 영어 능력 측정: 점수 형평성 평가를 활용한 시험 공정성 평가

영어 능력 평가는 대상 시험 집단을 대상으로 설계되었으며, 다양한 인구통계학적, 사회문화적, 교육 배경을 가진 응시자를 포함할 수 있습니다. 시험은 공정하다고 가정하며, 응시자 하위 그룹이 획득한 점수는 동일한 의미를 가집니다. 시험 공정성을 평가하는 한 가지 방법은 각 하위 그룹에 대해 연계된 시험을 만들어 해당 시험 점수를 원래 응시한 시험 점수와 비교하는 것입니다.

ETS가 TOEIC® 말하기와 작문 시험 응답을 어떻게 채점하나요

일반적으로 인간 평가자가 자동화 시스템보다 더 넓은 언어 수행 범위를 평가할 수 있기 때문에 말하기 및 쓰기 시험 채점에 사용됩니다. 이 논문은 ETS가 교육, 인증, 체계적인 행정 및 통계 모니터링 절차를 통해 인간 평가자들이 TOEIC 말하기 및 작문 시험에서 점수를 신뢰성과 일관성으로 보장하는 방법을 설명합니다.

TOEIC® 스피킹 점수를 TOEIC® 듣기 점수로 연결

시험 프로그램에서는 시험 양식의 과도한 노출을 방지하고 응시자가 시험 내용을 미리 알게 되는 가능성을 줄이기 위해 여러 형태의 시험을 사용한다. 대체 시험 형태의 통계적 난이도에 약간의 차이가 있을 수 있기 때문에, 시험 점수 연동(test score linking)이라는 통계 절차가 이러한 난이도 차이를 조정하여 시험 양식을 비교 가능하게 만드는 데 일반적으로 사용되어 왔다.

응시자의 배경 정보를 활용한 TOEIC® 청취 및 독해 시험 성과를 행정 전반에 걸쳐 모니터링하기

TOEIC 듣기 및 읽기 시험의 채점 과정에는 다양한 시험 방식과 시험 시행 간 점수의 일관성과 기술 해석의 공정성을 보장하는 모니터링 절차가 포함됩니다. 본 연구는 응시자의 배경 정보를 활용하여 여러 유형의 모니터링 절차를 강화할 가능성을 탐구합니다. 분석 결과, 일부 배경 변수가 시험 행정 전반에 걸쳐 시험 성과를 모니터링하는 데 도움이 될 수 있음을 시사하여, TOEIC 청취 및 읽기 시험의 품질 관리 절차를 강화하고 점수 일관성의 증거를 강화할 수 있습니다.

TOEIC® 말하기 및 작문 시험 점수 평균의 안정성 평가

교육 시험의 경우, 점수 척도의 일관성을 유지하고 시간에 따른 점수 평균의 변동 원인을 이해하는 것이 매우 중요합니다. 이를 통해 시험 응시자의 능력에 대한 해석이 각 시험 행정(또는 양식)마다 비교 가능하도록 보장합니다. 통계적 절차를 사용하여 본 연구는 TOEIC 말하기 및 작문 시험에서 보고된 점수의 일관성을 조사했습니다.

재설계된 클래식 TOEIC® 듣기 및 독해 시험에서 내용, 문항 통계, 시험 응시자 성과 비교

이 논문은 고전적 시험과 2006년에 새롭게 설계된 TOEIC 듣기 및 읽기 시험의 내용, 신뢰성, 난이도를 비교합니다. 재설계된 시험들은 현재 언어 능력 모델을 더 잘 반영하기 위해 약간 다른 문항 유형을 포함했지만, 각 버전에서 시험은 유사하다고 판단되었습니다.

TOEIC® 스피킹 테스트의 확장 문항 형식에 대한 통계 분석

시험 프로그램은 시험 문항이나 과제가 실제 활동과 잘 맞는지 주기적으로 평가를 검토해야 합니다. 이러한 이유로 의사소통 언어 학습을 더 잘 지원하고 암기와 기타 시험 전략의 사용을 억제하기 위해 ETS는 2015년 5월 TOEIC^® 스피킹 시험의 일부 문항 형식을 확장했습니다.

업데이트된 TOEIC® 청취 및 읽기 시험에 대한 통계 분석

시험이 응시자의 요구를 계속 충족시키고 점수를 매기도록 하기 위해, 시험 프로그램은 주기적으로 평가를 재검토하는 것이 중요합니다. 이러한 이유로, 영어의 끊임없이 변화하는 사용과 개인들이 글로벌 직장 및 일상에서 주로 소통하는 방식을 따라가기 위해, 2016년 5월 최초 출시된 TOEIC 듣기 및 읽기 시험이 설계되어 처음 출시되었습니다.

평가와 과제 간 TOEIC® 스피킹 점수의 일관성

이 연구는 TOEIC 스피킹 점수의 일관성을 조사합니다. 분석은 일반화 이론에 기반한 방법론을 사용하여 연구자들이 시험 절차의 측면(즉, 평가자, 과제)이 점수에 미치는 영향을 조사할 수 있게 합니다. 결과는 TOEIC 스피킹 점수가 일관적이라는 주장을 뒷받침하는 증거를 제공합니다.

TOEIC® 말하기 및 작문 시험을 위한 개별 평가자 성과 모니터링

이 논문은 개별 평가자 성과를 모니터링하고 전체 점수 질을 향상시키기 위해 TOEIC 말하기 및 작문 시험에서 구현된 절차를 설명합니다. 이러한 다면적이고 신중하게 개발된 절차들은 인간의 오류 가능성을 최소화하여 TOEIC 시험의 점수 일관성과 신뢰성에 기여합니다.

대체 양식: TOEIC® 말하기 및 작문 시험의 시험-재시험 신뢰도 및 시험 점수 변경

점수의 신뢰성 또는 일관성은 여러 방법으로 검토할 수 있는데, 예를 들어 동일 응시자의 점수가 서로 다른 시험 형식 간에 일관되는(이른바 '동등형 신뢰성') 및 시험 기회에 따라 '시험-재시험 신뢰성' 등이 포함됩니다. 이 연구는 TOEIC 스피킹 및 쓰기 점수가 서로 다른 시험 양식에서 1–30일, 31–60일의 일관성을 조사했으며, 시험 점수가 상당히 높은 등가형 시험-재시험 신뢰도를 보였음을 발견했습니다.

TOEIC® 말하기 및 작문 파일럿 연구를 위한 통계 분석

이 논문은 TOEIC 스피킹 및 쓰기 시험 개발에 기여한 파일럿 연구 결과를 보고합니다. 시험 점수 신뢰성 분석에서는 여러 유형의 점수 일관성, 예를 들어 평가자 간 신뢰도(여러 평가자가 점수에 동의한 경우)와 내부 일관성(동일 시험 문항 간 상관관계를 기반으로 한 척도) 등의 증거가 발견되었습니다.

재설계된 TOEIC® 청취 및 읽기 시험의 현장 연구 결과

이 논문은 2006년 재설계된 TOEIC 리스닝 및 리딩 시험의 현장 연구 결과를 설명하며, 문항 및 시험 난이도, 신뢰성, 고전 TOEIC 듣기 및 읽기 시험과의 상관관계 분석을 포함합니다. 결과는 2010년 Liao, Hatrak, Yu의 비교 연구와 일치하는데, 이 연구는 재설계된 시험의 신뢰성 증거를 발견하고, 재설계된 시험 점수가 고전적인 TOEIC 듣기 및 읽기 시험 점수와 유사하게 해석되고 활용될 수 있음을 제안했습니다.