e-레이터 스코어링 엔진용 맞춤형 애플리케이션

전자 평가^® 기술을 활용하기 위해 ETS는 ETS 채점 기술을 수업과 온라인 서비스에 도입한 기관에 글쓰기 평가 및 채점 서비스를 제공합니다. 표준 글쓰기 및 강사가 만든 프롬프트를 사용할 수도 있고, 직접 개발할 수도 있습니다.

ETS 지침을 따르는 표준 프롬프트를 사용하면 에세이 응답이 ETS 학년 점수 모델에 제출되어 전체적인 점수를 받습니다.

직접 맞춤형 글쓰기 프롬프트를 개발하기로 선택한다면, 이 프롬프트에 대한 에세이 응답을 수집하고 점수를 매겨 ETS에 전달하여 점수 모델을 구축하고 인증해야 합니다. ETS는 아래 요구사항을 따라 맞춤형 전자 평가자 엔진 점수 모델을 구축할 수 있도록 프롬프트 개발과 응답 점수를 매기는 데 도움을 드립니다.

주제 개발

• ETS 전문가들은 국가, 주 또는 지역 기준을 반영하는 맞춤형 에세이 주제 개발을 도울 수 있습니다.
• ETS는 맞춤형 주제를 개발하고, 채점 세션을 진행하며, 글쓰기 점수를 분석하는 데 전문가의 조언을 제공합니다.
• 또는 ETS 개발 전문가가 조직의 사양에 따라 개발 작업을 수행하고 사전 평가 세션을 진행할 수도 있습니다.

에세이 채점

• ETS는 에세이 채점 세션을 진행하고 채점 데이터를 수집하여 맞춤형 모델 구축을 위해 채점할 수 있으며, 채점 방법론과 품질 보증 절차를 통합할 수 있습니다.
• 독자 모집, 교육 및 모니터링 외에도, ETS는 강사와 훈련된 독자들이 텍스트 처리된 에세이 응답을 채점하는 데 사용할 수 있는 온라인 채점 시스템을 제공합니다.
• 채점이 완료되면 에세이 파일과 함께 제공되는 독자 점수를 채점 엔진에 전송하여 자동 모델 구축을 수행할 수 있습니다.

품질 보증

• 주제에 대한 채점 모델을 구축하기 전에, e-레이터 기술은 해당 주제에 관한 에세이를 분석하여 학습됩니다.
• 에세이는 일관되고 공정한 점수 기준을 적용한 독립 독자로부터 두 개의 점수를 받아야 합니다.
• 채점 대상 에세이 풀은 전체 점수 척도(예: 1부터 6까지의 척도)를 나타내야 하며, 이를 통해 e-레이터 엔진이 각 점수 점수에서 에세이를 인식하도록 훈련될 수 있습니다.

e-rater 엔진 모델 요구 사항

• 점수 기준은 점수 가이드에 명확히 정의되어 있습니다
• 채점 가이드에 나타난 글쓰기 과제를 반영하는 에세이 주제
• 해당 주제를 사용할 학생 집단과 동일하거나 유사한 학생 집단입니다
• 각 에세이 응답에 대해 두 개의 독립적인 독자 점수가 부여됩니다 (독자는 채점 가이드 사용법을 교육받아야 합니다)
• ETS 규정에 따라 형식화된 전자 파일에 주제당 최소 350개의 학생 응답이 필요합니다