통계학 2강. 표본과 추정
수프의 간은 한 숟갈이면 압니다. 단, 먼저 잘 저었을 때만요. 통계학의 절반은 "잘 젓는 법"에 관한 학문입니다.
풀고 시작
전수조사 대신 표본을 쓰는 논리
모집단(population) 전체를 조사하는 전수조사는 비싸고 느리고, 때로는 원리적으로 불가능합니다. 전구의 평균 수명을 전수조사하려면 어떻게 해야 할까요? 전 재고를 끝까지 켜서 태워야 합니다. 그래서 통계학은 일부인 표본(sample)을 뽑아 전체를 추측하는 추정(estimation)의 길을 택합니다. 여기서 놀라운 사실이 하나 있습니다. 정확도를 좌우하는 것은 비율이 아니라 절대 크기라는 점이죠. 모집단이 100만이든 1억이든, 제대로 뽑은 표본 1,000~2,000명이면 지지율 같은 비율을 몇 퍼센트포인트 오차 안에서 추정할 수 있습니다. 수프 비유가 정확합니다. 솥이 아무리 커도 잘 저었다면 한 숟갈의 정보량은 같으니까요.
핵심은 무작위 추출이다
"잘 젓는다"의 수학적 이름이 무작위 추출(random sampling)입니다. 모집단의 모든 구성원이 알려진 동일한 확률로 뽑히게 하는 절차죠. 무작위 추출이 핵심인 이유는 두 가지입니다. 첫째, 조사자의 취향이든 접근성의 차이든, 특정 집단이 계통적으로 더 뽑히는 선택 편향(selection bias)을 차단합니다. 둘째, 표본이 우연히 빗나갈 오차의 크기를 확률 이론으로 계산할 수 있게 만듭니다. 편향된 표본의 오차는 계산이 불가능하지만, 무작위 표본의 오차는 크기를 잴 수 있는 오차입니다. 통계적 추론 전체가 이 한 가지 절차 위에 서 있죠.
1936년, 240만 표본의 참사
미국 잡지 리터러리 다이제스트(Literary Digest)는 1936년 대선에서 약 1,000만 명에게 모의투표 엽서를 보내 약 240만 명의 응답을 모았고, 공화당 랜던(Alf Landon)의 압승을 예측했습니다. 결과는 어땠을까요? 정반대였습니다. 민주당 루스벨트(Franklin Roosevelt)가 60%가 넘는 득표로 압승했죠. 사상 최대급 표본이 참패한 이유는 두 겹의 편향입니다. 첫째, 발송 명단이 자사 구독자, 전화 가입자, 자동차 등록부 중심이었는데 대공황기의 전화와 자동차는 부유층 쪽으로 쏠린 재산이었습니다(선택 편향). 둘째, 엽서를 굳이 돌려보낸 사람들은 현직 대통령에게 불만이 강한 쪽으로 쏠렸습니다(무응답 편향, nonresponse bias). 같은 선거에서 갤럽(George Gallup)은 수만 명 규모의 표본으로 루스벨트의 승리를 맞혔습니다. 교훈은 잔인할 만큼 단순합니다. 편향된 200만은 제대로 뽑은 2,000만 못합니다.
신뢰구간: 정확한 의미와 흔한 오해
무작위 표본의 오차를 정직하게 표현하는 도구가 신뢰구간(confidence interval)입니다. "지지율 42%, 95% 신뢰수준에 오차범위 ±3%p"는 구간 39%~45%를 제시하는 것이죠. 여기서 거의 모두가 빠지는 오해가 있습니다. 이 말은 "참값이 이 구간 안에 있을 확률이 95%"라는 뜻이 아닙니다. 빈도주의 통계(확률론 5강의 두 해석 논쟁을 떠올려 보세요)에서 참값은 미지의 고정된 상수이고, 무작위인 것은 구간 쪽입니다. 정확한 의미는 이렇습니다. 같은 절차로 표본추출과 구간 계산을 무수히 반복하면, 그렇게 만들어진 구간들의 약 95%가 참값을 포함한다. 95%는 특정 구간이 아니라 구간을 만드는 절차의 장기 성공률입니다. 이미 계산된 하나의 구간은 참값을 품었거나 못 품었거나 둘 중 하나이며, 우리는 어느 쪽인지 모릅니다. 이 절차적 사고방식은 다음 강의 가설검정에서 그대로 다시 등장합니다.
인출 문제
생각해볼 질문 (정답 없음)
- 전화 조사 응답률이 10% 아래로 떨어진 오늘날, 우리는 모두 작은 리터러리 다이제스트를 반복하고 있는 것은 아닐까요? 무응답 편향을 줄일 방법은 무엇일까요?