통계학 5강. 통계의 오용: 숫자로 하는 거짓말
통계로 거짓말하기는 쉽습니다. 그러나 통계 없이 진실을 말하기는 불가능합니다.
풀고 시작
그래프가 먼저 거짓말한다
통계 왜곡의 가장 값싼 도구는 숫자가 아니라 그림입니다. 대표 수법이 축 조작이죠. 세로축을 0이 아니라 95에서 시작하면 96과 98의 차이가 화면에서 몇 배 높이 차이로 부풀려집니다. 지지율 1%p 격차가 압도적 우세처럼 보이는 그래프는 대부분 이 수법입니다. 반대로 축의 범위를 터무니없이 넓게 잡으면 의미 있는 변화도 평평한 선으로 눌러 감출 수 있죠. 시간축에서 불리한 구간만 잘라내는 것, 3차원 원근으로 앞쪽 조각을 커 보이게 하는 것도 같은 계열입니다. 허프(Darrell Huff)가 1954년 『새빨간 거짓말, 통계』에서 정리한 이 수법들은 70년이 지난 지금도 뉴스와 광고에서 그대로 반복됩니다. 숫자는 그대로 두고 지각만 조작하므로 "틀린 데이터"라고 반박하기도 어렵죠.
생존자 편향: 보이는 데이터가 전부가 아니다
2차 대전 중 미군의 통계연구그룹에서 일한 수학자 에이브러햄 왈드(Abraham Wald)의 일화는 생존자 편향(survivorship bias)의 상징이 됐습니다. 군은 귀환기의 총알구멍이 많은 부위를 보강하려 했지만, 왈드는 반대로 구멍이 없는 부위를 보라고 했죠. 왜였을까요? 관측된 표본은 살아 돌아온 비행기뿐이며, 치명적인 부위를 맞은 비행기는 애초에 데이터에 들어오지 못했기 때문입니다. 이 구조는 도처에 있습니다. "중퇴하고 성공한 창업자"들만 무대에 오르고 중퇴하고 실패한 다수는 보이지 않습니다. 살아남은 펀드의 수익률만 집계한 성과표는 청산된 펀드를 지우죠. 2강의 편향된 표본 문제의 극단형입니다. 질문은 항상 같습니다. 이 데이터에 들어오지 못한 사례는 무엇인가.
체리피킹과 p-해킹
체리피킹(cherry picking)은 유리한 결과만 골라 보여주는 것입니다. 실험을 스무 번 해서 잘 나온 한 번만 보고하거나, 통계를 유리한 기간, 유리한 지표로만 자르는 식이죠. 연구 현장의 세련된 변종이 p-해킹(p-hacking)입니다. 3강에서 본 유의수준 0.05라는 문턱이 학술지 게재를 좌우하다 보니, 문턱을 넘을 때까지 분석을 주무르는 유혹이 생깁니다. 결과를 보면서 표본을 조금씩 늘리다 p가 0.05 아래로 내려간 순간 멈추기, 여러 지표 중 유의하게 나온 것만 보고하기, 이상값 제외 기준을 결과에 맞춰 고르기. 각각은 사소해 보이지만, 3강의 논리를 떠올리면 치명적입니다. 우연만으로도 스무 번에 한 번은 문턱을 넘는데, 스무 번 시도하고 한 번을 보고하면 거짓 발견이 사실상 보장되니까요.
재현성 위기
이 병리의 청구서가 2010년대에 날아왔습니다. 심리학을 시작으로 여러 분야에서 유명한 연구 결과를 다른 연구팀이 같은 방법으로 다시 실험했을 때 상당수가 재현되지 않은 것이죠. 2015년 오픈 사이언스 협력단(Open Science Collaboration)이 심리학 논문 100편을 재현 시도한 프로젝트에서 원래 효과가 재현된 비율은 절반에 크게 못 미쳤습니다. 이른바 재현성 위기(replication crisis)입니다. 원인은 복합적입니다. p-해킹, 유의한 결과만 실리는 출판 편향, 작은 표본, 그리고 놀라운 결과일수록 주목받는 보상 구조가 겹쳐 있죠. 대응도 시작됐습니다. 분석 계획을 데이터 수집 전에 공개 등록하는 사전등록(preregistration), 데이터와 코드 공개, 재현 연구에 지면을 주는 학술지가 그것입니다. 위기는 통계가 틀렸다는 증거가 아니라, 통계의 논리를 존중하지 않으면 어떤 일이 생기는지에 대한 대규모 실증이었습니다.
통계 리터러시 체크리스트
다섯 강을 요약하면 숫자 앞에서 던져야 할 질문 목록이 됩니다.
| 질문 | 관련 개념 |
|---|---|
| 평균인가 중앙값인가, 분포의 모양은 보았는가 | 1강 대푯값, 왜도 |
| 표본은 어떻게 뽑혔고, 응답하지 않은 사람은 누구인가 | 2강 선택, 무응답 편향 |
| 오차범위와 신뢰수준이 함께 제시됐는가 | 2강 신뢰구간 |
| 유의하다는 말이 중요하다는 말로 바꿔치기되지 않았는가 | 3강 p값 |
| 상관을 인과로 읽고 있지 않은가, 교란변수는 무엇인가 | 4강 인과 |
| 그래프의 축은 0에서 시작하는가, 잘린 구간은 없는가 | 5강 축 조작 |
| 보이지 않는 데이터(탈락, 실패, 미보고)는 무엇인가 | 5강 생존자 편향, 체리피킹 |
이 목록은 통계를 불신하라는 초대가 아닙니다. 어떤 숫자를 믿어도 되는지 가려내는 기술이며, 그것이 이 과목의 목적지였습니다.
인출 문제
생각해볼 질문 (정답 없음)
- 최근에 접한 뉴스 그래프나 광고 문구 하나를 골라, 위 체크리스트의 일곱 질문을 실제로 던져 보세요. 몇 번째 질문에서 걸리나요?