언어 학습에서 높은 날을 타다: 마리아 트레어웨이 박사의 연구가 영어 평가에 미칠 수 있는 영향

2023년 3월 24일

마리아 트레어웨이 박사는 "초기형 사관생도 조종사를 위한 진단 언어 검사 개발 및 검증"이라는 논문으로 올해 재클린 로스 TOEFL^® 논문상을 수상했습니다. 재클린 로스 TOEFL 박사 논문상은 제2외국어 시험 및 시험 및 그 사용과 개발에 대해 중요한 독창적 기여를 한 박사 논문 연구를 인정합니다. 이번 Q&A에서 트레더웨이 박사는 항공 산업과 언어 시험 분야에 대한 연구 결과의 중요성과 영어 학습 및 평가 분야에 미치는 기여 등 연구를 공유할 예정입니다.

항공 언어 검사라는 중요한 분야에서 연구를 하게 된 영감에 대해 말씀해 주시겠습니까?

마리아 트레어웨이 박사: 다섯 번째 생일에 리처드 스캐리의 『Great Big Air Book 』을 받은 이후로 저는 항공기와 항공에 매료되었습니다. 결국 2001년에 상업용 조종사 면허를 취득했지만, 9/11 이후 저는 직업적으로 비행하기보다는 취미로 비행을 계속하기로 결정했습니다. 대신 영어 교사로 일하며 응용언어학 석사 학위를 마쳤습니다. 부전공 논문은 항공과 평가에 대한 관심을 결합한 것으로, 비일상적인 상황에서 말속도가 조종사의 이해에 미치는 영향을 조사했습니다. 이 과정에서 존 리드 명예교수와 함께 일할 수 있는 행운을 누렸는데, 그의 지도는 항공과 평가 전문성을 모두 결합했기 때문입니다. 석사 연구를 하면서 항공 언어 검사에 대한 연구가 실제로 필요하다는 것을 깨달았고, 존이 저와 함께 일하기로 동의했기에 박사 과정에서 지원을 받을 수 있을 것임을 알았습니다. 사실 저는 존의 마지막 박사과정 학생이라는 매우 특권적인 위치에 있으며, 이 상은 저뿐만 아니라 존을 위한 것입니다. 그래서 저는 항공, 영어, 평가에 대한 사랑을 결합할 수 있었습니다.

항공 산업과 언어 시험 분야에 대한 연구 결과의 중요성에 대해 좀 더 자세히 설명해 주실 수 있나요?

마리아 트레어웨이 박사: 제 연구는 영어를 모국이 아닌 배경의 ab initio 사관생도 조종사들이 영어로 실시하는 실습 비행 훈련 프로그램에 성공적으로 참여할 수 있도록 언어적 준비도를 측정하는 시험을 개발하는 응용 프로젝트였습니다. 이 시험은 해외 비행 훈련 준비 시험(OFTPT)이라고 불립니다. 궁금하실까 봐 말씀드리자면, ab initio는 처음부터 시작한다는 뜻으로, 지상 학교 이론 훈련을 마치고 실습 비행 훈련으로 전환할 준비가 된 학생 조종사들을 의미합니다.

이 프로젝트의 동기는 항공 훈련 환경 내 언어 시험의 현재 맥락에서 비롯되었습니다. 현재 영어권 국가에서 실무 비행 훈련에 입학하는 비영어권 배경의 초기생도 조종사를 평가할 표준화된 언어 능력 측정 지표가 없습니다. 대신 각 개별 훈련 기관은 자체 시험 및 입대 요건을 채택하여, 언어 준비 상태를 평가하는 데 있어 다른 훈련 영역의 견고하고 표준화된 평가와 대조되는 임시방편적 접근법이 형성됩니다. 따라서 항공 교육 분야는 국제민간항공기구(ICAO)의 언어 숙련도 평가 척도(조종사 및 항공 교통 관제사 언어 숙련도를 위한 국제 측정 지표)에 맞춰 검증된 유효하고 신뢰할 수 있으며 표준화된 측정 도구의 필요성을 시사했습니다. 이는 학생 조종사, 항공사 및 교육 기관이 언어적으로 준비가 되지 않은 상태에서 프로그램에 입학할 때 학생들이 겪는 부정적 결과를 최소화하는 것을 목표로 합니다. 따라서 제 연구의 중요성 측면에서 보면, 이는 산업계의 실제 요구에 의해 동기부여된 측정 도구일 수 있습니다.

목표 언어 사용(TLU) 영역(1단계)과 표준 설정 세션(4단계) 조사 데이터는 OFTPT가 이 영역 내 주제 전문가(SME)들(비행 교관, 항공 교통 관제사 및 항공 영어 교사)이 시험 내용에서 가치 있게 여기는 것을 성공적으로 포착하고 있음을 보여줍니다. 시험 시험(3단계)에서의 문항 분석(3단계)에서는 이 구성 개념의 운영화가 성공적으로 이루어져 시험이 잘 구별되고 적절한 난이도 수준에 도달함을 보여주었습니다. SME와의 표준 설정 과정(4단계) 동안, 비원어민 영어 사용자(NNES)로부터 기대되는 언어 수행 능력 수준에 대해 상당한 동질성이 있었으며, 이는 수행 수준 기술자와 합격 점수에 대한 신뢰를 가질 수 있음을 시사하였으며, 이는 ICAO 언어 능력 평가 척도와 연계된 점수에 대한 신뢰를 시사합니다. 요약하자면, 각 단계는 이 TLU 영역을 위해 특별히 개발된 테스트에서 중소기업이 결정한 표준을 식별하는 데 기여했습니다. 이것은 ICAO 척도에 따라 측정된 최초의 연구 기반 벤치마크로, 비행 훈련 진입을 위한 것입니다. 시작이고, 많은 사람들이 이 분야의 기준을 개선하기 위해 노력하고 있음을 알고 있으며, 다른 이들도 제 연구를 기반으로 발전시켜 나가길 바랍니다.

귀하의 연구가 영어 학습 및 평가 분야에 어떻게 기여할 것으로 보시나요?

마리아 트레어웨이 박사: 실질적인 기여 측면에서 이 프로젝트의 주요 성과는 온라인으로 진행되는 완전 운영 시험으로, 이는 실습 비행 훈련을 시작하는 초기형 조종사들의 요구를 구체적으로 겨냥하고 ICAO 언어 능력 평가 척도와 일치합니다. 시험 점수는 실습 비행 훈련에 참여할 준비 수준으로 해석될 수 있으며(즉, 학생이 준비되었거나, 최소한으로 준비되었거나, 준비가 안 된 상태) 이 준비 수준은 ICAO 평가 척도와 실증적으로 연동되었습니다. 앞서 말했듯이, 이 TLU 영역 내 언어 숙련도 임계 수준이 척도와 연계된 것은 처음입니다. 

이 시험은 또한 이 환경에서 시험의 중요한 진단 기능에 초점을 맞춥니다. 점수 보고서에서는 응시자들이 자신의 강점과 약점을 파악하여 항공 언어 실력을 향상시키는 데 도움이 될 수 있는 상세한 피드백을 받습니다. 동반 시험 웹사이트에서는 응시자들이 자유롭게 접근할 수 있는 학습 자료를 엄선하여 약점을 개선하고 강점을 보완할 수 있도록 했습니다. 따라서 학습자들이 실제 세계에서 필요한 지식, 기술, 능력을 개발하고 OFTPT에서 동일한 능력으로 시험받는 긍정적인 역효과가 있을 가능성이 있습니다. 학습과 평가의 이러한 정렬은 제가 항공 언어 시험을 설계할 때 매우 중요했습니다. 언어 시험 과제는 학생들의 목표 언어 사용 영역 과제와 매우 밀접하게 연관되어 있어 학습과 평가가 서로 연결되어 있습니다. 이것이 학습자들의 동기를 부여하고, 목표 언어 사용 영역, 즉 실무 비행 훈련 내에서 필요한 언어에 대한 참여도를 높이는 데 매우 중요하다고 생각합니다.

이론적 기여 측면에서 본 연구는 평가에서 검증에 관한 두 가지 잘 확립된 접근법, 즉 Bachman과 Palmer의 Assessment Use 논증, 그리고 O'Sullivan과 Weir의 2011년 사회인지 프레임워크를 결합한 최초의 연구입니다. 따라서 제 논문 5장에 있는 2단계 OFTPT 설계 및 운영에 대한 확장된 설명은 ESP/LSP 테스트 개발자, 특히 항공 테스트 개발자들에게 유용한 청사진이 될 수 있습니다. 왜냐하면 이 장에는 OFTPT(듣기, 읽기, 말하기)의 각 모듈에 대한 상세한 테스트 사양과 근거도 포함되어 있기 때문입니다.

재클린 로스 TOEFL^® 논문상을 받은 것이 당신의 경력과 연구 경로에 어떤 영향을 미쳤나요?

마리아 트레어웨이 박사: 무엇보다도, 이 상을 받으면서 오클랜드 대학교와 제 학교 및 교수진, 그리고 호주와 뉴질랜드의 언어 시험 커뮤니티 내에서 상당한 인정을 받았으며, 이제 이 인터뷰를 통해 아마도 더 넓은 곳에서도 인정받게 되었습니다! 이 상이 제 박사 프로젝트의 가시성을 높이고, 항공 교육 기관 내에서 OFTPT가 실제 세계에 적용되는 데 도움이 되길 희망합니다. 또한 이 상이 국제적인 상이기 때문에 제 연구의 신뢰성을 높여 항공 교육 기관 내에서 시험 채택과 향후 검증 및 연구를 위한 자금 확보에 도움이 될 수 있습니다. 인정 외에도, 이 상은 제가 학회나 기타 전문성 개발 기회에 참석하여 연구를 전파하는 데 사용할 재정적 지원도 포함합니다. 이러한 인정은 이미 호주, 브라질, 미국의 다른 연구자들과 협력할 수 있는 기회 증가로 이어지고 있으며, 이는 새로운 연구 분야와 이 분야의 발전으로 이어지길 희망합니다. 그래서 이 상은 제 연구를 더 넓은 대중과 공유할 수 있는 플랫폼이 되었다고 생각합니다.

언어 테스트에서 연구를 인식하고 지원하는 것의 중요성에 대해 말씀해 주실 수 있나요?

언어 검사에서 연구를 인정하고 지원하는 것은 여러 가지 이유로 매우 중요합니다. 첫째, 언어 검사 연구는 언어 검사가 공정하고 신뢰할 수 있으며 유효함을 보장하는 데 도움을 주며, 이는 항공이나 이민과 같이 언어 능력이 중요한 목적에 사용되는 상황에서 특히 중요합니다. 언어 평가의 정확성을 향상시킬 수 있다면, 개인의 교육 및 직업 기회뿐 아니라 사회 전반에 긍정적인 영향을 미칠 수 있습니다. 연구가 없으면 목표 개념을 포착하거나 언어 능력 측정을 정확히 하지 못해 언어 학습자의 부정확한 평가와 모든 이해관계자에게 의도치 않은 부정적 결과를 초래할 수 있습니다. 기술의 발전은 언어 검사 연구를 지원하여, 언어 능력을 더 잘 포착하고 시험 경험을 개선하는 혁신적인 평가 방법과 도구 개발을 가능하게 할 수 있습니다. 아마도 시험을 더 접근하기 쉽고 공정하게 만드는 데 도움이 될 것입니다. 마지막으로, 언어 시험 연구는 언어 정책과 의사결정에 도움이 되어 보다 효과적인 언어 교육 프로그램과 학습자의 성과를 개선할 수 있습니다. 따라서 연구는 매우 중요합니다!

박사 프로젝트 동안 가장 큰 도전은 무엇이었고, 어떻게 극복하셨나요?

마리아 트레어웨이 박사: 제 박사 과정의 많은 부분은 COVID-19 팬데믹 기간 동안 이루어졌기 때문에, 과정이 더 복잡해진 독특한 도전 과제가 있었지만, 동시에 디지털 및 협업 도구를 활용해 혁신적인 해결책을 탐색할 수 있는 새로운 기회도 제공했습니다. 구체적인 도전 과제는 완료해야 할 작은 업무들을 프로젝트 관리하고, 항공 교육 산업 내 인맥 개발 및 유지, 참가자 모집(특히 정부의 제한과 사회적 거리두기 속에서), 그리고 가상 인터뷰와 온라인 데이터 수집의 전반적인 필요성이었습니다. 가끔 도서관에서 물리적 자료를 이용할 수 없어 시간 관리와 연구 활동 흐름 조정이 어려웠습니다. 코로나19 외에도 아마도 대부분의 박사과정 학생들처럼 저도 특히 글쓰기 과정에서 동기 부여를 유지하는 것이 가장 어려웠습니다. 이를 극복한 방법은 산책, 가족 및 친구들과의 방문, 그리고 업무 등 여가 일정을 포함시키는 것이었습니다. 이 균형은 제가 필요로 하는 장기 집중을 유지하는 데 필수적이었습니다. 또한 제가 진행 중인 활동, 의도와 결과를 기록했고, 어떻게 하고 활동에 쏟았는지에 대한 성찰도 남겼습니다. 이 시간과 활동 기록은 원격 근무와 혼자 일할 때 집중력과 동기 부여, 집중력을 유지하는 데 필수적이었습니다.

마지막으로, 이 분야의 예비 연구자들에게 전하고 싶은 메시지가 있나요?

마리아 트레어웨이 박사: 항공 산업에 대한 언어 테스트의 영향은 매우 광범위하며, 이 분야의 언어 테스트가 효과적이고 최신이며, 전문 기준에 따라 개발되고 점수 추론을 뒷받침할 검증 증거가 있어야 한다는 추가 연구의 여지가 많다고 생각합니다. 따라서 연구를 진행 중이거나 이 도전을 느끼는 분들을 위해 언어 테스트는 항공 산업의 안전을 보장하고 의사소통을 개선하며, 결과적으로 상황 인식과 조종석 내 의사결정 개선에 매우 중요하다는 점을 기억하세요. 계속 나아가고, 여러분이 하는 일이 중요하다는 것을 기억하세요!