재현되지 않은 연구: "스마트폰이 곁에 있기만 해도 머리가 둔해진다"

무엇이 밝혀졌나

2017년 미국 연구팀(Ward 등)이 “브레인 드레인(Brain Drain)“이라는 논문을 발표했습니다. 참가자들은 자기 스마트폰을 책상 위, 주머니나 가방 속, 다른 방 중 한 곳에 두고 기억력과 사고력 테스트를 받았습니다. 결과는 자기 스마트폰이 가까이 있을수록 작업 기억과 유동 지능 테스트 점수가 낮았다는 것이었습니다. 스마트폰에 많이 의존하는 사람일수록 차이가 컸다고도 했습니다.

쓰지 않아도 곁에 있기만 하면 영향을 준다는, 기억하기 쉬운 이야기였기 때문에 뉴스와 책에서 널리 소개됐습니다.

그런데 2022년 캐나다의 Ruiz Pardo와 Minda가 같은 실험을 다시 해 본 결과를 발표했습니다. 이 재현 연구는 방법과 분석 계획을 실험 전에 공개해 등록하는 사전 등록을 거쳤습니다. Ward 등의 두 번째 실험에 맞춰 스마트폰 위치(책상 위, 주머니나 가방, 방 밖)와 전원(켜짐, 꺼짐)을 조합한 6가지 조건에서 작업 기억 테스트와 반응을 억제하는 능력 테스트를 진행했습니다.

결과는 스마트폰 위치에 따라 두 테스트 모두 점수 차이가 없었다는 것이었습니다. 저자들은 자기 스마트폰이 그저 곁에 있다는 것만으로는 인지 능력에 영향을 주기에 부족할 수 있다고 정리했습니다.

어떻게 읽어야 하나

한 연구에서 나온 결과가 다른 연구자가 같은 방법으로 다시 했을 때 나오지 않는 일은 드물지 않습니다.

2015년 과학 학술지 Science에는 전 세계 연구자들이 심리학 연구 100편을 나눠서 다시 해 본 대규모 프로젝트의 결과가 실렸습니다. 원래 연구에서는 **97%**가 통계적으로 의미 있는 결과였지만, 재현 연구에서 같은 결과가 나온 것은 **36%**였습니다. 효과의 크기도 평균적으로 원래 연구의 약 절반이었습니다.

그렇다고 “연구는 믿을 수 없다”는 뜻은 아닙니다. 이런 일이 생기는 이유는 몇 가지가 있습니다.

• 우연. 작은 실험에서는 우연히 차이가 나올 수 있습니다.
• 출판 편향. 차이가 나온 연구일수록 발표되기 쉽고, 차이가 없던 연구는 묻히기 쉽습니다.
• 분석의 자유도. 데이터를 본 뒤 분석 방법을 고를 수 있으면 차이가 나오는 쪽을 고르기 쉽습니다. 사전 등록은 이를 막는 장치입니다.

그래서 연구 한 편보다 사전 등록된 재현 연구나 여러 연구를 모은 메타분석을 더 무겁게 봐야 합니다. 스마트폰 사례에서 UPSHIFT는 사전 등록된 재현 연구를 더 무겁게 보고, 원래 연구는 단독으로 쓰지 않기로 했습니다.

재현에 실패했다고 해서 “스마트폰은 집중력과 아무 관계가 없다”고 말할 수 있는 것도 아닙니다. 말할 수 있는 것은 “곁에 있기만 해도 머리가 둔해진다”는 강한 주장이 지금으로서는 뒷받침되지 않는다는 데까지입니다.

UPSHIFT가 근거를 고르는 기준

앱과 글에서는 다음 원칙으로 연구를 고릅니다.

1. 연구의 종류를 구분해서 쓴다. 무작위 실험(RCT)과 자연 실험만 “~했더니 ~가 늘었다”고 쓰고, 관찰 데이터는 “~한 사람일수록 ~한 경향”이라고 씁니다.
2. 나라와 데이터를 밝힌다. 미국 연구를 한국이나 일본에서 확인된 것처럼 쓰지 않습니다. 일본 연구가 없으면 없다고 씁니다.
3. 숫자는 원 출처에 있는 것만. DOI가 등록돼 있는지도 확인합니다.
4. 재현되지 않은 연구는 쓰지 않는다. 이 글의 “브레인 드레인” 연구가 그 예입니다.
5. 평균의 이야기로 쓴다. 연구의 숫자는 집단의 평균이지, 한 사람의 미래를 예측하는 것이 아닙니다.

오늘 해 볼 작은 한 걸음

스마트폰에 대해 지금의 연구로 말할 수 있는 것은 따로 있습니다. 자기 전 빛나는 화면으로 책을 읽으면 잠드는 시간이 늦어졌다는 실험, 메일 확인 횟수를 줄인 주에 스트레스가 낮았다는 실험입니다.

• “자기 1시간 전에 스마트폰을 내려놓았다”를 기록하기. 근거가 있는 쪽의 이유로 스마트폰과 거리를 둡니다.
• “연구에 따르면”을 보면 세 가지를 확인하기. 어느 나라 몇 명의 연구인가. 실험인가, 단순 비교인가. 다시 해 본 연구가 있는가.

출처

• [B5] Ward, Duke, Gneezy & Bos (2017) Brain Drain: The Mere Presence of One’s Own Smartphone Reduces Available Cognitive Capacity. Journal of the Association for Consumer Research.
• [B6] Ruiz Pardo & Minda (2022) Reexamining the “brain drain” effect: A replication of Ward et al. (2017). Acta Psychologica.
• [X-osc-2015] Open Science Collaboration (2015) Estimating the reproducibility of psychological science. Science.
• [B4] Chang et al. (2015) Evening use of light-emitting eReaders negatively affects sleep, circadian timing, and next-morning alertness. PNAS.
• [B7] Kushlev & Dunn (2015) Checking email less frequently reduces stress. Computers in Human Behavior.