심리학의 탄생과 방법 4강. 교과서가 흔들린 사건
유명한 연구 100편을 그대로 다시 해 보자는 제안이 있었습니다. 그 결과가 심리학 교과서의 목차를 바꿔 놓았습니다.
풀고 시작
100편을 다시 해 봤더니
2015년, 270명 넘는 연구자가 참여한 재현성 프로젝트가 결과를 발표했습니다. 주요 심리학 저널에 실린 연구 100편을 원 저자에게 절차를 확인받아 가며 다시 수행한 것입니다. 원 논문에서는 97퍼센트가 통계적으로 유의했는데, 복제에서 유의했던 것은 36퍼센트였습니다. 효과 크기의 평균도 절반쯤으로 줄었고요. 한 편이 재현되지 않는 것은 사고지만, 열 편 중 여섯 편이 재현되지 않는 것은 제도의 문제입니다. 물론 반론도 있었습니다. 복제가 원 절차를 얼마나 충실히 따랐는지, 표본과 맥락이 달라진 것은 아닌지를 두고 공개 논쟁이 벌어졌고, 프로젝트 쪽은 재반박했습니다. 논쟁이 있었다는 사실까지 포함해서 이 사건은 건강한 장면이었습니다.
연구자 자유도라는 조용한 통로
왜 이런 일이 생겼을까요. 데이터를 날조한 대형 사기 사건도 있었지만, 진짜 범인은 훨씬 평범한 것이었습니다. 자료를 분석할 때 연구자에게는 수많은 선택지가 있습니다. 참가자를 몇 명에서 멈출지, 극단값을 뺄지, 어떤 통제 변인을 넣을지, 세 개의 측정치 중 무엇을 주 결과로 삼을지가 모두 열려 있죠. 2011년 한 논문은 이 자유도를 조금씩만 활용해도 유의한 결과를 얼마나 쉽게 만들 수 있는지 시연했습니다. 특정 노래를 들으면 실제로 나이가 어려진다는, 물리적으로 불가능한 결론까지 통계적으로 유의하게 뽑아 보인 것입니다. 이것이 p-해킹입니다. 속일 마음이 없어도, 유의해질 때까지 이리저리 만져 보는 습관만으로 문헌은 오염됩니다.
서랍 속에 남은 결과들
여기에 출판 편향이 곱해집니다. 유의한 결과는 논문이 되고 유의하지 않은 결과는 서랍에 들어갑니다. 같은 가설을 스무 팀이 검증했는데 한 팀만 우연히 유의한 값을 얻었다고 해 보죠. 세상에 나오는 것은 그 한 편뿐이고, 문헌만 읽는 사람에게 그 가설은 검증을 통과한 것처럼 보입니다. 낮은 검정력이 사태를 악화시킵니다. 표본이 작으면 진짜 효과를 놓치기 쉬울 뿐 아니라, 그 작은 표본에서 겨우 유의해진 결과는 효과 크기가 부풀려져 있게 마련이거든요. 재현 실패는 그렇게 예약되어 있었습니다.
무너진 것과 살아남은 것
교과서에 실렸던 연구들의 운명은 갈렸습니다. 의지력이 쓸수록 고갈된다는 자아 고갈은 여러 실험실이 동일 절차로 함께 검증한 복제에서 효과가 거의 0에 가깝게 나왔습니다. 힘 있는 자세를 취하면 호르몬과 위험 감수가 달라진다는 파워 포즈는 호르몬 효과가 복제되지 않았고, 원 저자 중 한 사람이 더 이상 그 효과를 신뢰하지 않는다고 공개적으로 밝혔습니다. 노인 관련 단어에 노출되면 걸음이 느려진다는 사회적 점화 실험도 복제에 실패했습니다. 스탠퍼드 감옥 실험은 복제 이전에 기록의 문제가 드러났습니다. 공개된 자료에서 연구진이 간수 역할의 행동을 사실상 코칭한 정황이 확인되었기 때문입니다. 마시멜로 실험은 조금 다릅니다. 참기 능력과 훗날의 성취가 관련된다는 상관 자체가 사라진 것은 아니지만, 표본을 키우고 가정 형편을 통제하자 예측력이 크게 줄었습니다. 학습 유형에 맞춰 가르치면 더 잘 배운다는 주장은 애초부터 이를 지지하는 실험 증거가 없었고요.
반대편도 분명합니다. 다시 읽기보다 꺼내 보는 편이 오래 남는다는 시험 효과, 같은 시간을 나눠 공부하는 분산 연습의 이점, 작업기억 용량에 좁은 상한이 있다는 사실은 방법을 바꿔 가며 반복 확인되었습니다.
위기가 아니라 자정입니다
대응은 빨랐습니다. 가설과 분석 계획을 자료를 보기 전에 공개하는 사전등록이 자리 잡았고, 결과가 나오기 전에 심사받는 형식의 논문 유형이 생겼습니다. 여러 실험실이 동일한 절차로 동시에 검증하는 다중연구실 복제가 표준 도구가 되었고, 자료와 분석 코드를 공개하는 관행도 퍼졌습니다. 심리학이 다른 분야보다 문제가 많아서 이 사건을 겪은 것이 아니라, 자기 문헌을 스스로 감사할 용기를 먼저 낸 것에 가깝습니다. 이 서가가 유명한 연구를 소개할 때마다 재현 상태를 함께 적는 이유가 여기 있습니다. 결론만 외우면 어느 것이 흔들리는지 알 수 없고, 지식은 주장의 목록이 아니라 그 주장을 떠받치는 증거의 상태이기 때문입니다.
인출 문제
생각해볼 질문 (정답 없음)
복제에 실패한 연구를 교과서에서 지워야 할까요, 아니면 실패한 경위와 함께 남겨 두는 편이 더 잘 가르치는 방법일까요.
이전: 심리학의 탄생과 방법 3강 · 다음: 인지심리학 1강