ETS의 시험 보안에 대해 몰랐던 다섯 가지

레이 니코시아 작성

미국 뉴저지주 프린스턴 (2022년 6월 3일) – ETS에서 평가의 보안을 유지하는 일은 수십 년간의 노력이었습니다. 시험이 종이와 연필에서 컴퓨터 기반으로, 시험장에서 가정으로 이동하면서 시험 산업의 변화는 매우 심각했습니다. 이러한 진화와 함께 보안을 새롭고 다양한 방식으로 바라볼 필요가 생겼고, 우리는 시험의 무결성을 훼손하려는 이들보다 앞서 나가기 위해 필요한 모든 것, 그리고 그 이상을 지속적으로 노력하고 있습니다.

테스트 보안 분야가 복잡할 수 있지만, ETS에서 테스트 보안에 대해 잘 모르시겠지만 알아야 할 다섯 가지를 소개합니다:

1. ETS의 시험 청렴성 사무소(OTI)는 64년 넘게 시험 사기와 부정행위와 싸워왔습니다.

64년 동안 ETS는 조사관, 전문가, 분석가로 구성된 전담 OTI 사무실을 운영해 왔으며, 이들은 시험의 타당성과 무결성을 보장하고, 정직하게 시험을 보는 이들을 옹호하는 일을 하고 있습니다. 고도로 훈련된 감독관, AI 기술, 데이터 분석과 협력하여, 부당하게 획득하거나 실시된 것으로 의심되는 점수와 시험 세션을 분석하고, 증거가 있을 경우 시험 점수를 취소합니다. 업계 선도자로서 저희 OTI 사무소는 전 세계적으로 부정행위를 근절하기 위해 더 많은 노력을 기울여야 할 필요성을 인식하고 있습니다.

2. ETS는 지난 60년간 부정행위 방지를 위한 테스트 보안 및 기술 인프라에 수십억 달러를 투자해 왔습니다.

ETS는 지난 수년간 매년 수천만 달러를 테스트 보안 및 기술 인프라에 투자해 왔습니다 — 지난 60년간 수십억 달러에 달합니다. 앞으로 몇 달 동안 우리는 기술 역량을 강화하고 테스트 보안 조치를 개선하기 위해 수천만 달러를 추가로 투자할 계획입니다. 이러한 역량과 개선에는 다음과 같지만 이에 국한되지 않습니다: ETS 독점 전문성과 역량을 활용한 원격 접속 소프트웨어(RAS) 예방과 새로운 통합 기술을 결합하여 세계적 수준의 시험 보안 조치를 유지하는 것; 부정직한 시험 행동을 높은 비율로 계속 탐지하기 위한 머신러닝 모델 강화; 부정행위 및 부정행위를 식별하고 차단하기 위한 새로운 통계 평가 모델 개발 및 개선; 그리고 부정행위 대응을 위한 새로운 문항 유형 및 평가 설계 접근법에 대한 지속적인 연구가 포함됩니다. 저희가 투자하는 것은 문제를 조사하고 점수를 취소하며 테스트 정책을 위반한 개인을 책임지기 위한 엄격한 보안 프로토콜과 품질 관리 절차에 더해진 것입니다.

3. ETS는 시험 점수가 응시자와 기관에 공개된 후에도 취소할 수 있고, 실제로 그렇게 합니다.

ETS가 시험 응시자의 점수가 부당하게 획득되었을 수 있다는 증거를 확보할 경우, 이는 시험 정책 위반입니다. OTI는 점수 공개를 보류하여 시험 세션과 획득한 점수를 평가하여 점수를 취소할지 여부를 결정할 수 있습니다. 경우에 따라, 점수가 이미 시험 응시자나 기관에 공개된 후에도 불공정한 이점으로 점수를 얻은 증거가 수집되면 점수를 취소할 수 있습니다. 가장 극단적인 경우, ETS는 시험 정책을 위반한 응시자를 금지합니다.

4. 표준화 평가에서 부정행위는 ETS만의 문제가 아닙니다.

부정행위는 지난 2년간 원격 시험 산업의 급성장으로 인해 업계 전반에 걸쳐 주목받아 온 문제입니다. 교육 분야 내에서 자주 논의되지는 않지만, 우리는 이해관계자들에게 우리가 보고 있는 상황, 우려 사항을 어떻게 해결하고 있는지, 그리고 미래 계획을 지속적으로 알릴 의무가 있습니다. 우리는 시험 보안이 점수가 유효하고 신뢰할 수 있으며 신뢰할 수 있음을 보장하는 종단 간 시험 과정의 가장 중요한 축 중 하나임을 알고 있으며, 시험 보안과 원격 시험 분야를 선도하는 기관으로서 정직하게 시험을 보는 응시자들을 보호할 책임을 진지하게 받아들입니다. 우리는 전 세계 기관들이 고위험 결정에 점수에 의존하는 데 동등하게 헌신하고 있습니다. 신뢰할 수 없는 점수는 고등교육 프로그램의 엄격함을 충족하지 못하는 준비가 안 된 학생들에게 영향을 미치며, 이는 힘들게 쌓아온 기관 명성에 부정적인 영향을 미칩니다. 점수 취소는 시험 기관의 강력한 집행 신호이며, 이러한 취소가 없다는 점은 기관과 이해관계자 모두에게 경계심을 불러일으켜야 합니다.

5. 가정 평가는 시험 응시자들 사이에서 부정행위 시도 증가에 기여했습니다.

재택 시험의 새로운 제공 모델로 인해, ETS는 2년 차(FY21) 동안 TOEFL^® 과 GRE^® 시험 모두에서 점수 취소가 1년차(FY20)에 비해 200% 이상 증가했습니다. 이러한 증가가 있었지만, 그렇다고 해서 우리의 경계심이 약해진 것은 아닙니다. 사실, 정반대의 경우도 있습니다. 이는 철저한 분석과 조사를 거쳐 사기 행위를 식별하고 점수를 취소하는 능력에서 입증됩니다. 부정행위 시도가 증가하고 있지만, 기본적으로 더 많은 점수가 취소되고 있습니다. 우리는 원격 접속 소프트웨어, 프록시 테스트, 휴대전화를 이용해 메시지를 주고받는 등 다양한 부정행위 기법을 이용한 시험 응시자들의 부정행위 시도 사례를 목격했습니다. 우리 OTI 팀은 시험 보안 분야의 선도적인 전문가들로 구성되어 있으며, 평가에서 부정행위를 시도하는 응시자들을 적발하고 억제하는 데 앞서 나갈 것입니다.

레이 니코시아는 ETS 테스트 무결성 사무국의 테스트 보안 책임자입니다.

ETS 소개

ETS는 엄격한 연구를 바탕으로 평가를 만들어 전 세계 사람들의 교육의 질과 형평성을 증진합니다. ETS는 교사 자격증, 영어 학습, 초중·고등교육에 맞춤형 솔루션을 제공하고, 교육 연구, 분석 및 정책 연구를 수행함으로써 개인, 교육 기관, 정부 기관에 서비스를 제공합니다. 1947년 비영리 단체로 설립된 ETS는 전 세계 180개국 이상, 9,000개 이상의 지점에서 TOEFL^® 및 TOEIC^® 시험, GRE^® 시험, 프락시스 시리즈^® 평가를 포함해 매년 5천만 건 이상의 시험을 개발, 관리, 채점합니다.

www.ets.org