연구원과의 질의응답: 조나단 위크

연구 수석 편집자 Ayleen Gontz는 수석 측정 과학자 Jonathan Weeks와 ETS에서의 그의 업무와 최근 NCME 프로그램 의장 임명에 대해 인터뷰했습니다.

조나단 위크스는 사람들과 교류하는 것뿐만 아니라 사람들과 연결하는 것을 사랑합니다. ETS에서 13년간 근무하는 동안 그는 PISA(국제 학생 평가 프로그램), PIAAC(국제 성인 역량 평가 프로그램), K–12 연구를 수행했으며; 기초 독해 능력 측정 개발에도 기여했으며; CIA를 위한 일부 시험 작업도 했습니다. 현재 그의 주요 관심사는 ECLS–K(유아기 종단 연구–유치원)와 국가교육통계센터가 주도하는 중고등학생 종단 연구에 있습니다.

앵커 데이에는 사무실에서 화이트보드에 문제를 풀고 있을 수도 있지만, 복도에서 동료들과 연구 문제를 논의하는 모습을 더 자주 볼 수 있습니다. 조나단을 만나면 멈춰서 인사하세요. 연구 질문이 없을 때는 이번 주말에 무엇을 스트리밍하거나 읽을지 물어보고, 청소년 스포츠 코칭에 대해 이야기하거나 멘토에 대해 이야기해 보세요.

ets.org 프로필에서 콜로라도 칼리지에서 영어 학사 학위를 받았다고 봤는데요. 어떻게 영어 전공에서 수학 이론 기반의 직업으로 전환하게 되었나요?

항상 그런 질문을 받습니다. 어린 아이는 "나는 나중에 심리측정학자가 되고 싶다"고 생각하지 않습니다. 저는 고등학교 영어 교사가 되고 싶다고 생각했지만, 교사 자격증이 없었습니다. 그래서 결국 학교 구역에서 일자리를 얻었고, 자격증을 따면 그곳에 가서 "야, 내가 너희 밑에서 일해왔어. 일자리를 줘."라고 말할 수 있을 거라는 생각으로 바뀌었다. 알고 보니 콜로라도 스프링스의 한 학군에서 비서 자리를 얻었고, 몇 년 후 그 학교 평가 사무소의 주요 데이터 분석가가 되었다.

이 시점에서 저는 평생 통계학 수업을 한 번도 들어본 적이 없었습니다.

"그건 꽤 위험하구나. 이걸 해결해야겠다."라고 생각했다. 나는 다시 학교에 가서 정량적 방법에 중점을 둔 교육 심리학 석사 학위를 받았다. 여러 문제를 해결할 아이디어가 있었지만, 박사 학위가 없어서 아무도 내 말을 듣고 싶어 하지 않았다. 그래서 나는 교육 정책을 염두에 두고 다시 학교에 다녔다. 곧 정책이 사실 정치와 더 관련이 있다는 것을 알게 되었고, 나는 덜 흥미를 느끼게 되었다. 그때가 2000년대 초반이었는데, 그때는 K–12 교육에서 성장 모델에 큰 중점을 두었다.

이 시점에서 저는 더 나은 성장 모델을 만들고 싶다고 생각했지만, 결국 저는 규모가 어떻게 구성되는지에 훨씬 더 관심을 갖게 되었습니다. 결국 저는 수직 규모의 생성, 구성 이동 문제, 특히 다차원 수직 규모의 발전에 집중하게 되었습니다. 이 분야는 오늘날까지도 저에게 관심을 가지고 있습니다.

당신이 하는 연구 예시를 들어줄 수 있나요?

저는 기초 읽기 능력 측정 개발에 대해 꽤 많은 연구를 해왔습니다; 이 검사는 ReadBasix라고 불립니다. 제가 가장 자랑스럽게 생각하는 논문 중 하나인 『 다차원 수직 척도의 응용』은 6개의 ReadBasix 하위 검사에 대한 다차원 구조와 근본적인 다차원 수직 척도에 대한 타당성 논증을 제공합니다.

제가 이해하기로는, 초기 개발 단계에서는 느슨하게 통합된 기초 기술들이 많이 있습니다. 독자가 점점 더 능숙해지면서, 이 기술들이 서로 얽혀 단어 관련 기술과 이해 능력이라는 두 개의 끈을 형성하여 결국 하나의 끈을 이룹니다. 느슨하게 통합된 기술들은 여섯 가지 요소에 해당합니다. 이 서로 다른 기술들은 항상 존재하지만, 두 개의 끈과 더 밀접하게 통합된 단일 끈을 만들어내기 위해 더 통합됩니다. 경험적 데이터를 활용한 제 연구가 이전에 전혀 몰랐던 이론적 틀에 대한 증거를 제공한다는 사실을 알게 되어 매우 흥분되었습니다.

최근 NCME(국가교육측정위원회) 컨퍼런스의 프로그램 의장 중 한 명이셨다고 들었습니다. 그 계획 중 가장 기대되는 부분은 무엇인가요?

저는 제가 가장 좋아하는 작가 중 한 분을 기조 연설자로 초청했습니다. 샘 킨은 과학사학자이자 『사라지는 숟가락』과 여러 권의 책으로 뉴욕타임스 베스트셀러 작가입니다. 요컨대, 그는 일련의 역사적 단편들을 통해 과학에 관한 이야기를 전합니다. 이 이야기들은 모두가 알고 있다고 생각하는 역사에 대한 반전입니다.

샘은 '측정 전문가'는 아니지만, 그가 바라보는 시각 덕분에 사람들이 역사와 과학을 조금 다르게 생각할 수 있도록 돕습니다. 저는 측정 분야를 생각할 때 약간 다른 시각으로 바라볼 수 있기를 바랍니다. 우리가 '측정'을 하는 방식, 검사를 개발하는 방식, 데이터를 평가하는 모델에 대해 다르게 생각할 수 있을까요? 우리는 항상 해왔던 방식을 계속 할 것인지, 아니면 시험 응시자와 우리 분야 전체에 더 도움이 될 수 있는 새로운 시도를 할 의향이 있을까요?

회의가 끝났으니, 네 일은 끝난 거야?  

기술적으로는 컨퍼런스가 끝나니 제 일은 끝난 거예요. 하지만 저는 시스템 자동화를 돕기 위해 조금 더 남기로 자원했어요. 당신이 의장 중 한 명이고, 마음이 여기서 이런 것들을 정리하느라 하면서 동시에 데이터 추출과 정리까지 신경 써야 하니까요... 생각보다 훨씬 많은 일이 벌어집니다. 앞으로 의장들이 스크립트를 프로그래밍하거나 수동으로 데이터를 걸러내는 데 시간과 노력을 들이지 않도록 이 과정을 더 쉽게 만들 수 있을지 보고 싶습니다.

사무실에서 꼭 없으면 안 되는 게 있나요?  

저는 화이트보드 앞에 서 있는 시간이 많아요. 제 생각과 정리하는 방식은 거기 서서 그림을 그려내는 거예요.

제가 하는 일들은 정말 다양하고, 각 프로젝트와 주제마다 다른 방법과 전략이 필요합니다. 어떤 것은 연구 중심적이고, 어떤 것은 실용적인 해결책이 필요한 운영 프로젝트입니다. 사무실에 있어도, 실제로 제 사무실을 못할 수도 있습니다. 왜냐하면 저는 여기저기 돌아다니며 사람들이 하는 일에 대해 이야기하기 때문입니다. 저는 스스로를 '떠돌이 심리측정학자'라고 부릅니다. 누군가가 저를 멈추고 이렇게 말할 수도 있습니다. "우리는 2,000명의 아이를 기대했는데 연구에 200명밖에 없었어요. 어떻게 해야 하죠?" 또는 "겉보기에는 정상적인 인자 구조로 데이터를 시뮬레이션하려고 하는데, 데이터를 분석할 때 이상한 결과가 나오고 있어요. 왜 그런지 아세요?" 저는 그런 더 미묘한 문제들을 해결하는 것을 즐깁니다.

그리고 때로는 제가 이 맥락에서 돕고 있던 일이 실제로는 다른 맥락의 누군가에게는 더 큰 해결책이 될 수 있습니다. 저는 상호작용과 사람들이 자신의 특정 영역 밖에서 일할 수 있도록 매우 지지하는 사람입니다. 그렇다고 하루가 끝나고 결국, 저는 실질적인 제약 — 예를 들어 실제로 우리의 일을 완수하는 것 — 을 방해하지 않으면서도 가능한 한 많은 사람들이 최대한 많이 이해할 수 있도록 돕고 싶습니다.