수학기초론 1강. 수학이란 무엇인가: 발견인가 발명인가

수학자는 미지의 대륙을 탐험하는 사람일까요, 정교한 게임을 발명하는 사람일까요. 이 질문 앞에서 20세기 최고의 지성들이 네 갈래로 갈라섰습니다.

풀고 시작

위기에서 시작된 질문

19세기 말 수학은 견고해 보였습니다. 칸토어(Georg Cantor)의 집합론이 무한을 다루는 언어를 제공했고, 프레게(Gottlob Frege)는 산술 전체를 순수 논리에서 유도하는 대작 『산술의 근본 법칙』을 집필하고 있었죠. 그런데 1902년, 2권 인쇄 중이던 프레게에게 젊은 러셀(Bertrand Russell)의 편지가 도착합니다. 자기 자신을 원소로 갖지 않는 집합들의 집합이라는 단 한 줄의 구성이 프레게 체계 전체를 모순에 빠뜨린다는 내용이었습니다. 프레게는 부록에서, 학자가 겪을 수 있는 가장 불행한 일은 완성 순간에 토대가 무너지는 것이라고 고백했습니다. 집합이라는 가장 기초적인 개념이 역설을 낳는다면, 수학의 확실성은 어디에 근거할까요. 이 위기가 "수학이란 무엇인가"라는 질문을 철학의 안락의자에서 수학자의 책상 위로 옮겨 놓았습니다.

플라톤주의: 수학은 발견이다

플라톤주의(Platonism)는 수학적 대상이 인간의 정신과 무관하게 실재한다고 봅니다. 소수의 무한성은 인류가 있기 전에도 참이었고, 수학자는 발명가가 아니라 탐험가라는 것이죠. 하디(G. H. Hardy)는 『어느 수학자의 변명』에서 수학적 실재는 우리 바깥에 있으며 우리의 일은 그것을 발견하고 관찰하는 것이라고 썼습니다. 괴델도 확신에 찬 플라톤주의자였습니다. 이 입장은 수학의 객관성, 그리고 수학자들이 느끼는 "저항하는 실재"의 감각을 가장 자연스럽게 설명합니다. 난점은 인식론입니다. 베나세라프(Paul Benacerraf)가 1973년에 정식화했듯, 수학적 대상이 시공간 밖의 추상적 존재라면 인과적으로 세계와 접촉하는 우리가 그것을 어떻게 알 수 있을까요. 철학 서가의 존재론 논의, 특히 플라톤의 이데아론과 중세 보편논쟁이 바로 이 문제의 원형입니다.

논리주의와 형식주의: 환원과 게임

논리주의(logicism)는 수학이 논리학의 연장이라고 봅니다. 프레게가 시작했고, 역설을 목격한 러셀이 화이트헤드와 함께 『수학 원리』(Principia Mathematica)에서 유형 이론으로 역설을 봉쇄하며 기획을 이어갔습니다. 1+1=2에 해당하는 명제에 도달하는 데만 수백 쪽이 걸렸죠. 난점은 그 과정에서 무한 공리 같은 가정이 필요했다는 것입니다. 무한한 대상이 존재한다는 주장은 아무리 보아도 순수 논리의 진리가 아니므로, 환원은 미완으로 남았습니다.

형식주의(formalism)는 힐베르트(David Hilbert)의 노선입니다. 수학은 의미를 묻지 않는 기호 조작 게임으로 볼 수 있으며, 중요한 것은 그 게임의 규칙이 모순을 낳지 않음을 증명하는 일이라는 것이죠. 이 기획의 운명은 2강에서 다룹니다. 형식주의의 또 다른 난점은 의미 없는 기호 게임이 왜 물리 세계를 그토록 잘 기술하는가이며, 이것은 3강의 주제입니다.

직관주의: 정신의 구성

직관주의(intuitionism)의 브라우어르(L. E. J. Brouwer)는 수학을 정신의 구성 활동으로 봅니다. 존재한다는 말은 구성할 수 있다는 뜻이며, 완결된 실무한은 없다는 것이죠. 따라서 무한집합에 대해서는 배중률(모든 명제는 참이거나 거짓이다)을 쓸 수 없습니다. 구성하지 못한 것을 "둘 중 하나"라고 단정할 권리가 없기 때문입니다. 대가는 컸습니다. 고전 수학의 상당 부분, 특히 귀류법으로만 증명된 존재 정리들이 무너집니다. 힐베르트는 수학자에게서 배중률을 빼앗는 것은 권투 선수에게서 주먹 사용을 금지하는 것과 같다고 응수했습니다.

네 입장 모두 살아남았지만 어느 것도 완승하지 못했습니다. 이 교착을 결정적으로 뒤흔든 것이 괴델입니다.

인출 문제

생각해볼 질문 (정답 없음)

• 외계 문명이 있다면 그들의 수학은 우리와 같은 소수, 같은 π를 가질까요. 답이 "그렇다"라면 그것은 발견의 증거일까요.

이전: 선형대수 4강 · 다음: 2강 괴델의 불완전성 정리