통계학 3강. 가설검정과 p값
p값은 "가설이 참일 확률"이 아닙니다. 과학자들조차 절반쯤은 이 문장을 틀리게 이해합니다.
풀고 시작
귀류법의 확률 버전
수학의 귀류법은 이렇게 작동합니다. 명제 A를 참이라 가정하고, 모순을 끌어내서, A를 기각합니다. 가설검정(hypothesis testing)은 이 논법의 확률 버전입니다. 먼저 "아무 효과 없다, 아무 차이 없다"는 귀무가설(null hypothesis)을 세웁니다. 연구자가 실제로 보이고 싶은 주장은 대립가설(alternative hypothesis)이죠. 그다음 귀무가설이 참이라고 가정한 세계에서 지금 관측된 데이터가 얼마나 나오기 힘든 것인지 계산합니다. 충분히 나오기 힘들면 귀무가설을 기각하죠. 다만 수학의 귀류법과 결정적 차이가 있습니다. 모순은 확실성을 주지만, "드물다"는 확실성을 주지 않습니다. 드문 일도 일어나니까요. 그래서 기각은 증명이 아니라 오류 확률을 관리하는 결정이고, 기각에 실패했다고 귀무가설이 증명되는 것도 아닙니다. 증거의 부재는 부재의 증거가 아니죠.
차를 맛보는 부인
이 논리를 대중적으로 각인시킨 일화가 있습니다. 1920년대 영국 로담스테드 농업연구소, 통계학자 피셔(Ronald Fisher)가 있던 티타임에서 한 부인(생물학자 뮤리엘 브리스톨)이 말했습니다. 홍차에 우유를 먼저 넣었는지 나중에 넣었는지 맛으로 구별할 수 있다는 것이었죠. 피셔는 즉석에서 실험을 설계했습니다. 우유 먼저 4잔, 차 먼저 4잔, 총 8잔을 무작위 순서로 제시하고 우유 먼저인 4잔을 고르게 합니다. 순전히 찍어서 4잔을 전부 맞힐 확률은 70가지 조합 중 1, 약 1.4%입니다. 부인이 다 맞힌다면, "능력이 없다"는 귀무가설 아래서 1.4%짜리 사건이 일어난 셈이므로 귀무가설을 의심할 근거가 되죠. 그래서 결과는 어땠을까요? 전해지는 바로는 부인이 실제로 전부 맞혔습니다. 피셔는 이 실험을 1935년 『실험 계획법』 서두에 실었고, 무작위 배치와 유의성 검정이라는 현대 실험 설계의 골격이 여기서 나왔습니다.
p값의 정의, 그리고 오독의 목록
p값(p-value)의 정확한 정의는 하나뿐입니다. 귀무가설이 참이라는 가정 아래, 관측된 것만큼 극단적이거나 더 극단적인 결과가 나올 확률. 조건이 붙는 방향에 주의하세요. p값은 "가설을 조건으로 한 데이터의 확률"이지 "데이터를 조건으로 한 가설의 확률"이 아닙니다. 여기서 오독의 목록이 나옵니다. p=0.03은 귀무가설이 참일 확률이 3%라는 뜻이 아니고, 대립가설이 참일 확률이 97%라는 뜻도 아니며, 효과가 크다는 뜻도 아닙니다(표본이 크면 하찮은 차이도 작은 p값을 얻죠). 재현 확률도 아닙니다. 데이터에서 가설의 확률로 넘어가려면 사전확률을 더한 베이즈적 계산(확률론 5강)이 필요합니다. 희귀병 검사에서 양성이 나와도 실제 환자일 확률은 낮을 수 있다는 것과 같은 구조죠.
0.05라는 문턱의 자의성
관행은 p가 0.05보다 작으면 "통계적으로 유의하다"고 선언합니다. 이 문턱, 즉 유의수준(significance level) 0.05는 어디서 왔을까요? 자연의 상수가 아닙니다. 피셔가 1925년 『연구자를 위한 통계적 방법』에서 20번에 1번 수준을 편리한 기준으로 언급한 것이 관행으로 굳었을 뿐이고, 피셔 자신도 맥락에 따라 달리 볼 문제로 여겼습니다. p=0.049와 p=0.051은 증거로서 거의 같은데, 문턱은 하나를 "발견"으로, 하나를 "실패"로 가릅니다. 이 이분법이 낳는 병리(문턱을 넘기 위한 조작)는 5강에서 다룹니다. 그 전에 다음 강에서, 검정을 통과한 상관조차 인과가 아닐 수 있다는 더 근본적인 문제를 봅니다.
인출 문제
생각해볼 질문 (정답 없음)
- 만약 관행이 0.05가 아니라 0.005였다면 과학은 더 건강했을까요, 아니면 참인 발견을 너무 많이 놓쳤을까요?