통계학 9강. 다중비교와 재현성
스무 개의 가설을 시험하면 아무 효과가 없어도 하나쯤은 유의하게 나옵니다. 그것이 유의수준 0.05의 뜻입니다.
풀고 시작
스무 번 던지면 한 번은 나옵니다
유의수준 0.05는 효과가 없는데도 있다고 말할 위험을 5%로 잡겠다는 약속입니다. 스무 번에 한 번 틀리겠다는 뜻이죠.
그런데 검정을 스무 번 하면 어떻게 될까요. 각각 5%씩 틀릴 수 있으니 적어도 한 번 틀릴 확률은 64% 로 뜁니다. 아무 효과가 없는데도 절반이 훨씬 넘는 확률로 "유의한 발견"이 손에 들어옵니다.
현실에서 이런 일은 아주 쉽게 벌어집니다. A/B 테스트에서 클릭률, 체류시간, 재방문율, 매출, 이탈률을 함께 보면 그것만으로 다섯 번입니다. 여기에 연령대별, 기기별, 유입경로별로 쪼개 보면 순식간에 수십 번이 됩니다. 그중 하나가 유의하게 나오면 그것을 들고 "20대 안드로이드 사용자에게서 효과가 확인됐다"고 말하게 됩니다.
이것을 다중비교 문제(multiple comparisons problem) 라 합니다. 개별 검정은 하나도 틀리지 않았는데 전체로 보면 틀린 결론이 나옵니다.
xkcd의 유명한 만화가 이 문제를 정확히 그렸습니다. 젤리빈이 여드름을 유발하는지 조사하는데 처음에는 효과가 없습니다. 그래서 색깔별로 스무 가지를 다시 조사하니 초록색에서 p<0.05가 나오고, 신문 1면에 "초록 젤리빈이 여드름을 일으킨다"가 실립니다.
보정하는 두 가지 방식
대응 방법은 크게 둘로 갈립니다. 무엇을 통제할 것인가가 다릅니다.
본페로니 교정(Bonferroni correction) 은 가장 단순합니다. 검정을 m번 한다면 유의수준을 α/m으로 낮춥니다. 스무 번이면 0.05 대신 0.0025를 씁니다. 이렇게 하면 하나라도 틀릴 확률을 전체적으로 5% 아래로 묶을 수 있습니다. 이 기준을 집단별 오류율(FWER) 이라 합니다.
확실하지만 대단히 보수적입니다. 검정 수가 수천 개가 되면 기준이 너무 빡빡해져 진짜 효과까지 놓칩니다. 유전자 2만 개를 한꺼번에 보는 연구에서 이 방식을 쓰면 발견이 거의 나오지 않습니다.
FDR 제어(Benjamini-Hochberg) 는 목표를 바꿉니다. 하나도 틀리지 않겠다는 대신, 유의하다고 한 것들 가운데 틀린 것의 비율을 일정 수준 아래로 묶습니다. "발견 100개 중 잘못된 것이 5개 이하면 받아들이겠다"는 태도죠. 훨씬 덜 보수적이라 발견을 많이 남기고, 유전체학이나 대규모 실험에서 표준이 되었습니다.
어느 쪽이 옳은지는 틀렸을 때의 대가가 정합니다. 신약 승인처럼 한 번의 오류가 치명적이면 본페로니가 맞고, 후보를 넓게 추리고 나중에 검증할 수 있으면 FDR이 맞습니다.
p-해킹과 재현성 위기
다중비교가 의도치 않게 일어나면 실수지만, 찾을 때까지 뒤지면 다른 이름이 붙습니다. p-해킹(p-hacking) 입니다.
유의한 결과가 나올 때까지 이상값 기준을 바꿔 보고, 표본을 더 모으고, 하위 집단을 쪼개고, 지표를 갈아 보는 것이죠. 각 단계는 그럴듯한 분석적 판단처럼 보이지만 결과를 보며 선택한다는 점이 문제입니다. 데이터를 본 뒤 가설을 만들고 처음부터 그 가설이었던 척하는 것을 HARKing이라 부릅니다.
2010년대 심리학과 의학에서 터진 재현성 위기(replication crisis) 의 통계적 정체가 이것입니다. 2015년 심리학 논문 100편을 다시 실험한 대규모 프로젝트에서 원 결과가 재현된 것은 절반을 밑돌았습니다. 발표된 연구가 대부분 부정직해서가 아니라, 유의한 결과만 실리는 관행과 다중비교가 겹치면 문헌 전체가 우연히 유의했던 것들로 채워지기 때문입니다. 이것을 출판 편향이라 합니다.
대응책은 통계 기법이 아니라 절차입니다. 사전등록(preregistration) 은 데이터를 보기 전에 가설과 분석 방법을 공개된 곳에 못 박아 두는 것입니다. 나중에 바꾸면 바꾼 사실이 남죠. 탐색적 분석과 확증적 분석을 구분해 밝히는 것도 중요합니다. 탐색은 얼마든지 자유롭게 하되, 그렇게 찾은 가설은 새 데이터로 다시 시험해야 합니다.
기계학습에도 같은 문제가 있습니다. 검증 데이터를 보며 하이퍼파라미터를 수백 번 고르면 그 검증 점수는 이미 낙관적으로 오염됩니다. 테스트 데이터를 마지막에 딱 한 번만 쓰는 규율이 사전등록과 같은 역할을 합니다.
인출 문제
생각해볼 질문 (정답 없음)
- 탐색적 분석에서 찾은 가설을 새 데이터로 다시 시험해야 한다면, 데이터를 모으기 어려운 분야(역사적 사건, 희귀질환)는 어떻게 해야 할까요. 재현이 불가능한 곳에서 지식은 어떻게 쌓일 수 있을지 생각해 보세요.