통계학 1강. 데이터 요약의 기술
하나의 숫자로 데이터를 요약하는 순간, 우리는 무언가를 버리기로 선택한 것입니다. 무엇을 버렸는지 아는 사람만 그 숫자를 믿을 자격이 있습니다.
풀고 시작
대푯값 셋, 대답은 제각각
데이터를 한 숫자로 줄이는 가장 기본적인 도구가 대푯값입니다. 평균(mean)은 전부 더해 개수로 나눈 값이고, 중앙값(median)은 크기순으로 줄 세웠을 때 정확히 가운데 값이며, 최빈값(mode)은 가장 자주 나타나는 값입니다. 세 값이 비슷하면 어느 것을 써도 무방합니다. 문제는 셋이 갈릴 때죠.
소득 분포가 교과서적 사례입니다. 대다수는 중간 이하에 몰려 있고 극소수가 매우 큽니다. 이때 평균은 소수의 큰 값에 민감하게 끌려 올라가고, 중앙값은 버팁니다. 한 마을 주민 100명의 연소득 중앙값이 3,000만 원인데 자산가 한 명이 이사 온다고 상상해 보세요. 평균은 단숨에 뛰지만 중앙값은 거의 움직이지 않습니다. 그래서 "평균 소득 상승"이라는 문장은 대다수의 삶이 나아졌다는 뜻일 수도, 최상위만 더 벌었다는 뜻일 수도 있습니다. 대푯값의 선택은 계산이 아니라 주장입니다.
퍼짐을 재다: 분산과 표준편차
가운데만 알면 절반만 아는 것입니다. 평균 수심 1m인 강에서 사람이 빠져 죽습니다. 어디는 20cm, 어디는 3m이기 때문이죠. 퍼짐을 재는 표준 도구가 분산(variance)입니다. 각 값에서 평균을 뺀 편차를 제곱해 평균 낸 값이죠. 제곱하는 이유는 부호를 없애기 위해서인데, 그 대가로 단위가 제곱이 됩니다(원² 같은 이상한 단위가 나오죠). 그래서 제곱근을 씌워 원래 단위로 되돌린 것이 표준편차(standard deviation)입니다. 표준편차가 크다는 것은 개별 값들이 평균에서 멀리 흩어져 있다는 뜻이고, 평균이라는 요약의 대표성이 그만큼 약하다는 경고이기도 합니다. 같은 평균 30점짜리 두 반이라도 표준편차 2점인 반과 20점인 반은 완전히 다른 교실이며, 대푯값 하나만 보고하는 요약은 이 차이를 통째로 지워 버립니다.
분포의 모양: 왜도
평균과 중앙값의 어긋남은 분포의 비대칭성, 즉 왜도(skewness)의 신호입니다. 오른쪽으로 꼬리가 긴 분포(소득, 주택 가격)에서는 대체로 평균이 중앙값보다 크고, 왼쪽으로 꼬리가 길면(쉬운 시험 점수) 대체로 반대가 됩니다. 이 관계는 유용한 경험칙이지만 예외가 있는 경향성이지 수학적 법칙은 아닙니다. 요점은 하나입니다. 평균, 중앙값, 표준편차라는 숫자 몇 개는 분포의 그림자일 뿐, 모양 자체가 아니라는 것이죠.
앤스컴 콰르텟: 요약통계가 같아도 데이터는 다르다
이 교훈을 극적으로 보여준 것이 통계학자 앤스컴(Francis Anscombe)이 1973년에 발표한 네 개의 데이터셋, 앤스컴 콰르텟(Anscombe's quartet)입니다. 네 데이터셋은 x의 평균과 분산, y의 평균과 분산, 상관계수, 회귀직선까지 거의 동일합니다. 그런데 그려 보면 전혀 다릅니다. 하나는 얌전한 직선 경향, 하나는 뚜렷한 곡선, 하나는 이상값 한 점이 직선을 비튼 모양, 하나는 한 점이 상관 전체를 만들어낸 모양이죠. 앤스컴의 메시지는 명확합니다. 숫자 요약을 보기 전에, 혹은 적어도 함께, 반드시 데이터를 그려 보라. 요약은 계산의 끝이 아니라 시각화와 짝을 이룰 때만 안전합니다. 다음 강에서는 데이터 전체가 아니라 일부(표본)만 보고 전체를 추측하는 기술로 넘어갑니다.
인출 문제
생각해볼 질문 (정답 없음)
- 뉴스에서 "1인당 평균"이라는 표현을 볼 때, 평균 대신 중앙값을 쓰면 결론이 뒤집힐 만한 사례를 하나 찾아보세요.