확률론 5강. 확률의 두 해석: 빈도주의와 베이즈주의
콜모고로프의 공리는 확률의 문법만 정했습니다. 그 확률이 세계의 성질인지 믿음의 정도인지는 아직도 싸우는 중이죠.
풀고 시작
공리가 비워 둔 자리
1강에서 콜모고로프는 확률이 "무엇인지" 묻지 않기로 하고 계산 규칙만 공리로 못박았습니다. 영리한 회피였지만, 질문 자체가 사라진 것은 아니죠. 확률은 세계가 가진 객관적 성질일까요, 아니면 우리 믿음의 정도일까요? 두 답이 각각 하나의 진영이 됐고, 두 진영 모두 같은 공리를 쓰면서도 통계학의 방법론, 과학의 검증 절차, AI의 설계 철학에서 갈라집니다.
빈도주의: 확률은 장기 비율이다
빈도주의(frequentism)는 확률을 반복 가능한 시행에서 사건이 일어나는 장기 상대빈도로 정의합니다. "앞면 확률 1/2"은 던지기를 무한히 반복하면 비율이 1/2로 수렴한다는 뜻이며, 4강의 큰 수의 법칙이 이 그림을 떠받치죠. 확률은 동전과 시행 절차가 가진 객관적 성질이고, 누가 무엇을 믿는지와 무관합니다. 폰 미제스(Richard von Mises)가 이론화했고, 피셔와 네이만, 피어슨이 20세기 표준 통계학(유의성 검정, 신뢰구간)을 이 위에 세웠습니다.
난점은 정의의 적용 범위입니다. 첫째, 단일 사건에 확률을 줄 수 없습니다. 내일의 강수 확률, 특정 피고인의 유죄 확률, 6600만 년 전 소행성 충돌 원인설의 확률은 반복 시행이 없죠. 둘째, "무한 반복"은 실제로 수행할 수 없는 이상화이며, 어떤 반복의 집합을 기준으로 삼을지(같은 동전? 같은 던지기 방식?)에 따라 답이 달라지는 준거집합 문제가 있습니다.
베이즈주의: 확률은 믿음의 정도다
베이즈주의(Bayesianism)는 확률을 명제에 대한 합리적 믿음의 정도로 봅니다. "당선 확률 60%"는 세계의 빈도가 아니라 증거를 반영한 나의 확신 수준이며, 2강의 베이즈 정리가 그 믿음을 갱신하는 규칙이죠. 램지(Frank Ramsey)와 더 피네티(Bruno de Finetti)는 1920~30년대에 이 그림을 정당화하는 논증을 내놓았습니다. 믿음의 정도가 확률 공리를 어기면, 그 사람을 상대로 반드시 돈을 따는 내기 조합을 짤 수 있다는 더치북 논증(Dutch book argument)입니다. 공리를 지키는 것이 곧 정합적 믿음의 조건이라는 것이죠.
난점은 출발점입니다. 갱신 규칙은 객관적이지만, 사전확률은 어디서 올까요? 증거가 쌓이면 서로 다른 사전확률도 대체로 수렴한다는 답이 있지만, 증거가 적은 문제일수록 사전확률이 결론을 좌우합니다. 확률이 사람마다 다른 주관적 양이 되어, 과학이 요구하는 객관성과 긴장을 일으킨다는 비판이 여기서 나오죠.
어디서 갈라지는가
| 구분 | 빈도주의 | 베이즈주의 |
|---|---|---|
| 확률의 정체 | 세계의 장기 빈도 | 믿음의 정도 |
| 가설의 확률 | 말할 수 없다(가설은 참 아니면 거짓) | 말할 수 있고 갱신한다 |
| 대표 도구 | 유의성 검정, 신뢰구간 | 사전·사후분포, 베이즈 인자 |
| 아킬레스건 | 단일 사건, 준거집합 | 사전확률의 자의성 |
통계학에서는 20세기 내내 빈도주의가 교과서를 지배했습니다. 그러나 "p값이 0.05보다 작다"가 가설이 참일 확률을 말해주지 않는다는 오해가 만연하면서, 재현성 위기 논쟁과 함께 베이즈 방법이 재부상했죠. 과학에서는 증거가 가설을 얼마나 지지하는지를 계산하려는 베이즈적 확증 이론이 과학철학의 주요 도구가 됐습니다. AI에서는 스팸 필터부터 대규모 언어모델의 불확실성 표현까지 베이즈적 갱신이 기본 문법이지만, 모델 성능의 평가는 여전히 빈도주의적 반복 실험으로 합니다. 실무 통계학자 다수가 문제에 따라 두 도구를 바꿔 쓰는 실용주의로 정착한 것이 현재의 풍경이죠.
이 논쟁의 뿌리는 철학 서가에서 본 흄입니다. 흄은 반복 경험이 미래를 보증하지 못한다는 귀납 문제를 남겼죠(경험론 3강). 빈도주의는 반복에서 확률을 뽑아내므로 귀납 문제를 정면으로 상속하고, 베이즈주의는 귀납을 믿음 갱신의 정합성 문제로 번역해 우회하지만 사전확률이라는 새 출발점 문제를 얻습니다. 확률론은 수학이지만, 그 해석은 여전히 철학인 것입니다. 다음 과목인 통계학은 이 두 해석 위에서 데이터로부터 결론을 끌어내는 기술을 다룹니다.
인출 문제
생각해볼 질문 (정답 없음)
- 일기예보의 "강수 확률 70%"를 검증하려면 무엇을 세어야 할까요. 70%라고 말한 날들을 모아 실제 비율을 재는 순간, 여러분은 어느 진영의 방법을 쓰고 있는 걸까요.
- 배심원이 "합리적 의심의 여지없이"를 확률로 바꿔야 한다면, 그 확률은 빈도일까요, 믿음일까요.