수학기초론 3강. 수학의 불합리한 유효성
물리학자가 필요로 하기 수백 년 전에, 수학자는 이미 그 도구를 만들어 서랍에 넣어 두었습니다. 왜 이런 일이 반복될까요.
풀고 시작
위그너의 수수께끼
1963년 노벨 물리학상을 받게 되는 위그너(Eugene Wigner, 1902~1995)는 1960년에 「자연과학에서 수학의 불합리한 유효성」이라는 논문을 발표했습니다. 논지는 이렇습니다. 수학자는 자연을 관찰해서 개념을 만들지 않습니다. 복소수, 군, 힐베르트 공간 같은 개념은 아름다움과 조작의 편리함이라는 내부 기준으로 선택되죠. 그런데 물리학자가 자연법칙을 쓰려고 하면 바로 그 개념들이, 종종 소수점 여러 자리의 정밀도로 들어맞습니다. 위그너는 이 적합성이 논리적으로 보장된 것이 아니므로 설명을 요구하는 수수께끼라고 보았습니다. 수학이 인간의 발명이라면 왜 자연이 그것에 복종할까요. 수학이 발견이라면 왜 인간의 미적 취향이 자연의 구조를 미리 알아맞힐까요. 1강의 발견 대 발명 논쟁이 물리학의 옷을 입고 돌아온 것입니다.
서랍 속에서 기다린 수학
역사는 위그너의 사례집입니다. 기원전 3세기 아폴로니오스(Apollonius)는 원뿔을 잘라 나오는 타원, 포물선, 쌍곡선을 순수한 기하학적 호기심으로 연구했습니다. 약 1800년 뒤인 1609년, 케플러는 행성이 태양을 초점으로 하는 타원 궤도를 돈다는 것을 발견합니다. 고대의 곡선이 하늘의 운동 법칙으로 판명된 것이죠. 리만(Bernhard Riemann)은 1854년 취임 강연에서 휘어진 공간의 기하학을 일반화했는데, 당시에는 물리적 쓸모가 전혀 없는 사변이었습니다. 61년 뒤 아인슈타인은 바로 그 리만 기하학을 언어로 삼아 일반상대성이론을 완성했고, 중력은 시공간의 곡률이 되었습니다. 갈루아(Évariste Galois)가 방정식의 해법을 연구하다 만든 군론은 20세기 입자물리학의 뼈대가 되었죠. 겔만(Murray Gell-Mann)은 SU(3) 대칭성으로 입자들을 분류하고 빈자리에 해당하는 새 입자 Ω⁻(오메가 마이너스)의 존재와 성질을 예측했으며, 1964년 실험이 정확히 그 입자를 찾아냈습니다. 대칭의 수학이 아직 보지 못한 물질을 예언한 셈입니다.
설명의 시도들
이 수수께끼에 대한 답은 크게 두 갈래입니다. 플라톤주의적 답은 수수께끼를 해소합니다. 수학자와 물리학자는 같은 실재의 구조를 다른 입구로 탐사하고 있으므로, 두 지도가 겹치는 것은 기적이 아니라 당연한 일이라는 것이죠. 다만 이 답은 1강에서 본 접근 문제, 즉 추상적 실재를 어떻게 아는가라는 부담을 그대로 상속합니다. 진화·선택효과의 답은 수수께끼를 축소합니다. 첫째, 수학은 생각만큼 순수하지 않습니다. 기하는 측량에서, 미적분은 역학에서 태어났으므로 세계와 맞는 것이 놀랍지 않죠. 둘째, 우리는 성공 사례만 기억합니다. 수학이 잘 안 맞는 영역(난류, 생명, 경제의 장기 예측)은 조용히 잊히므로 표본이 편향됩니다. 해밍(Richard Hamming)은 1980년의 후속 논문에서 우리는 우리가 찾는 것을 보며, 맞는 수학을 골라 쓸 뿐이라고 논평했습니다. 어느 쪽도 결정타는 아니어서 논쟁은 열려 있습니다. 확실한 것은 이 질문이 수학의 정체에 대한 질문과 한 몸이라는 사실입니다.
서가를 닫으며
수학 서가의 여정이 여기서 끝납니다. 우리는 집합과 논리라는 언어에서 출발했고, 대수학에서 구조를, 기하학에서 공간을, 미적분에서 변화를 다루는 법을 배웠습니다. 확률론은 불확실성을 계산 가능하게 만들었고, 이산의 세계와 선형대수는 현대 계산의 기반을 보여주었죠. 그리고 마지막에 이르러 그 모든 것의 토대를 물었습니다. 토대는 우리가 기대한 반석이 아니었습니다. 러셀의 역설이 지반을 흔들었고, 괴델이 완전한 요새의 불가능성을 증명했으며, 위그너는 남은 성공마저 설명되지 않은 선물임을 보여주었습니다. 그런데도 수학은 무너지기는커녕 그 어느 때보다 강력합니다. 확실성의 신화를 잃고도 작동하는 지식, 어쩌면 그것이 수학이 우리에게 주는 마지막 가르침입니다.
인출 문제
생각해볼 질문 (정답 없음)
- 수학이 잘 통하지 않는 영역(생명, 사회, 역사)이 있다는 사실은 위그너의 수수께끼를 약화시킬까요. 아니면 "통하는 곳에서는 왜 그렇게 잘 통하는가"라는 질문을 더 날카롭게 만들까요.
- 서가를 완주한 지금, 당신의 답은 무엇입니까. 수학은 발견일까요 발명일까요, 아니면 그 구분 자체가 잘못된 질문일까요.
이전: 2강 괴델의 불완전성 정리 · 다음: 수학 서가 완주