TOEFL iBT 비하인드 스토리: 학생들의 글쓰기 과정을 실시간으로 평가하다

이번 인터뷰에서 선임 측정 과학자 Ching-Ni Hsieh와 선임 연구 프로젝트 매니저 Renka Ohta는 TOEFL의 John Clark과 함께 최근 연구 『TOEFL iBT® 시험에서의 제2언어 쓰기 과정: 시선 추적, 키스트로크 기록, 자극 회상을 이용한 학술 토론 과제를 위한 글쓰기 검토』에 대해 이야기합니다

물론이죠. 학생이 글쓰기 과제에 대해 작성한 서면 답변은 무엇을 썼는지는 알려주지만, 어떻게 그 자리에 오게 되었는지는 알려주지 않습니다. 두 학생이 같은 에세이 점수를 받거나 유사한 질의 답변을 낼 수 있지만, 글을 쓸 때 매우 다른 경로를 따를 수 있습니다.

눈 움직임이나 키보드 입력 이벤트와 같은 행동 데이터는 최종 서면 답변에서는 보이지 않는 응시자들의 주의력 배분과 의사결정 과정을 엿볼 수 있는 창을 제공할 수 있습니다.

우리 연구에서, 참가자들이 컴퓨터에서 TOEFL iBT Write for a Academic Discussion 과제(우리는 이를 'WAD'라고 붙였습니다)에 응답하는 동안, 모니터 아래에 Tobii 눈 추적기를 설치해 눈 움직임을 추적했습니다.

눈 추적기는 센서 기술을 활용해 작가가 어디를 보고 눈이 어떻게 움직이는지를 측정하는 장치입니다. 또한 Tobii Pro Lab의 시선 추적 소프트웨어를 사용해 화면 내 글쓰기 이벤트—예를 들어 텍스트 작성과 마우스 클릭 등—을 겹쳐 눈 움직임을 포함해 영상을 녹화하고 제작했습니다.

시선 추적 데이터를 통해 작가들이 어디를 바라보고 있는지, 시선이 어떻게 이동하는지, 과제의 여러 부분을 얼마나 바라보느냐, 그리고 텍스트를 어떻게 수정했는지 알 수 있었습니다.

ETS의 키스트로크 로깅 엔진을 사용해 각 작가가 타이핑하는 동안 키보드의 모든 활동을 기록했습니다. 이 데이터는 작성자의 키보드 행동에 관한 풍부한 정보를 담은 키스트로크 로그로 수집되며, 단어나 문장 사이의 일시정지, 작성된 텍스트 삭제, 새 텍스트 삽입 등이 포함됩니다.

참가자들이 글을 다 쓴 후, 우리는 그들을 인터뷰했습니다. 우리는 참가자들의 화면 내 글쓰기 과정과 시각 주의가 어디로 향하는지 나타내는 히트맵을 포함한 Tobii 시선 추적 소프트웨어로 촬영된 영상을 시청했습니다. 우리는 학생들에게 과제에 답하는 동안 무슨 생각을 했는지 이야기해 달라고 요청했는데, 특히 긴 침묵이나 수정 같은 흥미로운 순간에 그랬습니다.

참가자들이 생각을 더 쉽게 나누도록 가능한 한 모국어로 질문을 했습니다. 그들의 설명은 관찰 가능한 타이핑 행동과 눈 움직임을 그 이면의 사고 과정과 연결하는 데 도움을 주었습니다.

평가에서 개념은 시험이 측정하도록 설계된 능력이나 기술을 의미합니다. 구성적 타당도는 테스트가 의도된 기술을 측정하는지 여부를 묻습니다. TOEFL iBT 글쓰기 섹션의 목표 기준은 학술 글쓰기 능력입니다.

구성의 타당성 증거의 중요한 출처 중 하나는 응시자들이 학술 글쓰기와 관련된 글쓰기 과정에 참여하는지 여부입니다. 만약 시험 응시자가 의도한 학술적 글쓰기 능력과 무관한 인지 과정이나 전략에 주로 의존해 높은 점수를 받을 수 있다면, 시험 점수가 그들의 학술적 글쓰기 능력을 정확히 반영하지 못할 수 있습니다.

네, 우리의 연구 결과는 WAD 과제의 개념 타당성을 뒷받침하는 증거를 제공합니다. 시선 추적 데이터, 키스트로크 기록, 인터뷰 응답 전반에 걸쳐 참가자들은 계획, 언어 형성, 모니터링, 수정에 참여했습니다. 이러한 과정은 확립된 글쓰기 모델의 핵심이며, 학술적 글쓰기 능력과 관련이 있습니다.

이 증거는 과제가 의도한 글쓰기 과정을 유도한다는 것을 시사하며, TOEFL iBT 글쓰기 점수가 시험이 평가하도록 설계된 학문적 글쓰기 능력을 반영한다는 해석을 강화합니다.

켈로그 모델은 글쓰기에 관한 가장 영향력 있는 인지 모델 중 하나입니다. 이 책은 글쓰기를 아이디어를 계획하고, 그 아이디어를 언어로 번역하며, 텍스트를 작성하고, 작성된 내용을 검토하는 등 상호작용하는 과정의 집합으로 설명합니다. 이 모델은 TOEFL iBT 작성 과제에 대한 이전 연구에서 사용된 바 있어, WAD 과제가 중요한 글쓰기 과정을 포함하는지 평가하는 데 유용한 틀로 간주했습니다.

또한 이 모델을 선택한 이유는 아이디어를 단어와 문장으로 전환하는 과정, 즉 공식화에 명확한 주의를 기울이기 때문입니다. 이 점은 특히 TOEFL iBT 시험 응시자에게 중요한데, 이들은 제2외국어로 작성할 때 어휘, 문법, 문장 구성에 상당한 주의를 기울여야 할 수 있습니다.

우리의 데이터는 참가자들이 WAD 과제 전반에 걸쳐 계획, 언어 형성, 모니터링, 복습에 참여했음을 보여주었습니다. 많은 참가자들이 프롬프트를 여러 번 읽고, 아이디어를 떠올리며, 적절한 어휘를 찾고, 문장을 구성하고, 답변이 과제 요구사항을 충족하는지 확인하고, 정확성이나 명료성을 높이기 위해 수정했습니다. 이러한 행동들은 켈로그의 인지적 글쓰기 모델과 밀접하게 일치합니다.

우리의 연구 결과는 또한 글쓰기의 재귀적 특성을 부각시켰습니다. 참가자들은 이 과정을 한 번에 하나씩 또는 선형적으로 완료하지 않았습니다. 대신 그들은 읽기, 계획, 쓰기, 수정 사이를 오가며, 이는 켈로그가 역동적이고 상호작용하는 과정으로 보는 글쓰기의 관점과 일치한다.

WAD 과제는 기존 의견 에세이 과제(예: 퇴역한 TOEFL iBT 독립 작문 과제)와 다릅니다. 응시자는 교수의 질문을 읽고, 두 명의 학생 답변을 고려한 뒤, 온라인 토론에 어떻게 기여할지 결정하고, 10분 이내에 답변을 작성해야 합니다.

이러한 디자인 특징들은 응시자들이 여러 정보원에 주의를 분산시키면서 자신의 아이디어를 생성하고 표현하도록 요구합니다. 예를 들어, 우리의 시선 추적 결과는 참가자들이 프롬프트 자료와 글쓰기 영역 사이에서 주의를 반복적으로 전환하는 것을 보여주었습니다. 이런 의미에서, 이 과제는 시험 응시자에게 독서, 계획, 쓰기, 자기 모니터링을 동적인 온라인 토론 형식 내에서 조율하도록 요구함으로써 독특한 인지적 요구를 부과합니다.

이러한 과정은 현대 학술 환경에서 학생들이 접할 수 있는 다양한 형태의 서면 의사소통과 유사합니다. 과제는 다양한 대응 전략도 지원했습니다. 예를 들어, 인터뷰에서 일부 참가자는 두 학생 게시물에서 언급하지 않은 새로운 아이디어를 도입해 기여하려 했다고 설명했고, 다른 참가자들은 다른 학생들과 동의하며 읽은 내용을 기반으로 발전시켰습니다.

아니요, 그들이 표현하는 구체적인 생각에 따라 정답이나 오답은 없습니다. WAD 과제 채점 루브릭은 언어 사용, 아이디어 개발, 그리고 응시자들이 토론에 얼마나 명확하고 효과적으로 반응하는지에 초점을 맞춥니다.

시험 응시자는 완전히 새로운 아이디어를 도입했는지 평가받지 않습니다. 그들은 의미 있게 기여하고 자신의 관점을 명확히 표현한다면 샘플 응답에 이미 제시된 아이디어를 바탕으로 발전시킬 수 있습니다. 

프롬프트 처리는 작가들이 작업 자료를 읽고, 해석하며, 글쓰기 전과 작성 중에 사용하는 방식을 의미합니다. WAD 과제에서는 교수의 질문을 이해하고, 두 개의 샘플 학생 게시물을 고려하며, 자신의 기여가 토론과 어떻게 연결될지 결정하고, 때로는 작성 중에 주제 자료를 다시 검토하는 것이 포함됩니다.

우리 연구에서 흥미로운 발견 중 하나는 즉각 처리가 과제 초반에만 일어난 것이 아니라는 점입니다. 참가자들은 글쓰기 과정 내내 여러 번 주제 자료를 다시 살펴보는 경우가 많았습니다.

우리는 신속한 처리가 단순한 사전 작성 활동이 아니라는 결론을 내렸습니다; 오히려 계획의 지속적인 부분으로서 관련 아이디어 선택, 응답 위치 설정, 응답이 과제 요구사항을 얼마나 잘 달성하는지 모니터링 등 다른 글쓰기 결정을 안내하는 데 도움을 줍니다.

이것이 평가 설계의 핵심 과제 중 하나입니다. 주제가 너무 단순하면, 학술적 글쓰기 능력을 강력히 입증할 만큼 충분한 글쓰기 관련 사고를 이끌어내지 못할 수 있습니다. 너무 복잡하면 시험 응시자가 과제 이해에 과도한 노력을 쏟을 수 있어, 과제가 글쓰기 능력보다는 독해력이나 과제 해석을 측정하기 시작할 수 있습니다.

우리의 연구 결과는 효과적인 프롬프트가 작가들이 계획, 구성, 모니터링, 수정과 같은 주요 글쓰기 과정에 참여하도록 유도하면서도 명확하고 접근성을 유지해야 함을 시사합니다. 목표는 불필요한 장벽이나 무관한 난이도를 도입하지 않고 응시자가 글쓰기 능력을 입증할 수 있도록 평가 과제를 설계하는 것입니다.

이해가 되네요! 이렇게 깊이 있게 연구해 주셔서 정말 감사합니다 – 각 TOEFL iBT 과제에 얼마나 많은 시간과 에너지가 들어갔는지 보는 게 재미있어요.

감사합니다.