심리학의 탄생과 방법 2강. 마음을 어떻게 측정하나
실험 하나가 인과를 말할 수 있는 근거는 정교한 이론이 아니라, 참가자를 동전 던지듯 갈라 놓았다는 사실입니다.
풀고 시작
동전 던지기가 인과를 만듭니다
수면 습관 프로그램이 성적을 올리는지 알고 싶다고 해 보죠. 참가하겠다고 손 든 사람만 모아 놓고 성적을 재면, 프로그램의 효과와 원래 성실한 사람이 몰렸다는 사실이 뒤엉킵니다. 처치 전후만 비교해도 곤란합니다. 유난히 나쁜 점수를 받은 사람을 모아 두면 아무 처치를 하지 않아도 다음 점수가 평균 쪽으로 올라오는 평균 회귀가 끼어들기 때문이죠. 무작위 배정은 이 문제를 정면으로 푸는 대신 우회합니다. 동기, 수면의 질, 집안 사정처럼 연구자가 재지도 못한 것까지 두 집단에 고르게 흩뿌려 놓으니까요. 그래서 실험은 원인을 증명하는 것이 아니라, 원인 외의 설명들을 배정 단계에서 미리 무력화하는 장치입니다. 배정을 연구자가 정하는 순간 이 보증은 사라집니다.
상관은 화살표를 그려 주지 않습니다
소셜미디어 사용 시간과 우울 점수가 함께 움직인다는 보고는 흔합니다. 그런데 이 자료 하나로 가능한 이야기는 최소 셋입니다. 사용이 우울을 키웠을 수도, 우울해서 화면을 더 붙잡았을 수도, 수면 부족이나 고립 같은 제3의 요인이 둘을 동시에 밀어 올렸을 수도 있습니다. 실제로 이 분야에서 보고되는 상관은 대체로 작고, 해석은 지금도 갈립니다. 그렇다고 상관 연구가 열등한 것은 아닙니다. 흡연이나 학대처럼 사람을 무작위로 배정하는 것이 윤리적으로 불가능한 주제에서는 상관 자료와 자연 실험이 사실상 유일한 통로입니다. 요령은 하나입니다. 상관은 인과 가설의 후보를 좁혀 주는 자료이지, 화살표의 방향을 정해 주는 자료가 아닙니다.
무엇을 잰 것인지 먼저 못 박기
행복을 재겠다고 하면 곧바로 질문이 따라옵니다. 척도 열 문항의 합산 점수인가요, 하루 동안 웃은 횟수인가요, 아니면 무작위로 울리는 알림에 그때그때 답한 기분인가요. 무엇으로 재기로 했는지 미리 못 박는 것이 조작적 정의입니다. 정의가 갈리면 같은 주제를 다룬 두 연구가 반대 결론을 내고도 둘 다 옳을 수 있습니다. 물론 조작적 정의가 개념을 통째로 대신하지는 못합니다. 점수는 행복의 지표이지 행복 자체가 아니니까요. 그래서 측정에는 두 개의 잣대가 따라붙습니다. 같은 사람을 다시 재도 비슷한 값이 나오는가가 신뢰도이고, 그 값이 재려던 개념을 실제로 재고 있는가가 타당도입니다. 줄자를 몇 번을 대도 눈금이 흔들리지 않으면 신뢰도는 높지만, 그 줄자로 지능을 재겠다고 하면 타당도는 무너집니다. 신뢰도가 높다고 타당도가 따라오지는 않습니다. 여기에 맹검이 붙습니다. 참가자가 어느 조건인지 알면 기대가 결과를 밀고, 실험자가 알면 말투와 채점이 미세하게 기울기 때문에 양쪽 다 가리는 이중맹검을 씁니다. 위약 효과도 균형 있게 볼 필요가 있습니다. 통증이나 기분처럼 스스로 보고하는 결과에서는 관찰되지만, 객관적인 신체 지표에서는 효과가 훨씬 작다는 것이 메타분석의 결론입니다.
그래서 누구를 재고 있었나
2010년에 나온 지적 하나가 분야를 서늘하게 만들었습니다. 심리학 논문의 표본이 압도적으로 서구의 산업화된 부유한 민주주의 사회에서 나왔고, 그중 상당수가 대학생이었다는 것입니다. 앞 글자를 따 WEIRD 표본이라고 부릅니다. 문제는 이 집단이 인류의 평균이 아니라 여러 지표에서 오히려 바깥쪽에 놓인다는 데 있습니다. 선분의 길이를 비교하는 뮐러리어 착시조차 문화권에 따라 크기가 다르게 나타납니다. 1960년대에 여러 사회를 현장에서 비교한 자료가 근거이고요. 지각처럼 기초적인 수준에서도 보편성은 확인해야 할 가설이지 전제가 아닙니다. 표본을 밝히지 않은 일반화는 그래서 위험합니다.
유의하다는 말이 크다는 뜻은 아닙니다
p값은 효과의 크기도, 가설이 참일 확률도 아닙니다. 귀무가설이 참이라고 가정했을 때 지금 관찰한 것만큼 극단적인 자료가 나올 확률일 뿐이죠. 여기서 함정이 생깁니다. 표본을 충분히 키우면 실생활에서 무의미한 차이도 유의해집니다. 반대로 표본이 작으면 진짜 효과가 있어도 놓치기 쉽고, 그렇게 작은 표본에서 겨우 건진 유의한 결과는 효과 크기가 부풀려져 있기 마련입니다. 그래서 오늘날 논문은 효과 크기와 신뢰구간을 함께 보고하도록 요구받습니다. 이 계산의 밑바닥은 통계학 쪽에서 다룹니다(p값).
인출 문제
이전: 심리학의 탄생과 방법 1강 · 다음: 심리학의 탄생과 방법 3강