해석학 6강. 엄밀화: 해석학의 탄생
150년 동안 미적분은 옳은 답을 냈습니다. 왜 옳은지 설명할 수 있는 사람이 없었을 뿐이죠.
풀고 시작
버클리의 일격: 사라진 양의 유령
뉴턴과 라이프니츠의 미적분은 눈부시게 작동했습니다. 그런데 그 심장부의 무한소(infinitesimal)는 정체불명이었죠. 0이 아니면서 어떤 양수보다도 작은 양이라니, 그런 것이 있기는 할까요? 도함수 계산을 보면 문제가 드러납니다. 증분 h로 나눗셈을 할 때 h는 0이 아니어야 하는데, 계산 끝에는 h가 붙은 항을 0이라며 지워 버립니다. 같은 양이 한 계산 안에서 0이기도 하고 아니기도 한 것입니다.
이 급소를 정통으로 찌른 사람이 철학자 버클리(Berkeley)입니다. 경험론 2강에서 만난 그 버클리가 맞습니다. 1734년의 저작 『해석학자』(The Analyst)에서 그는 무한소를 "사라진 양들의 유령"(ghosts of departed quantities)이라 조롱했습니다. 신앙의 신비를 비웃는 수학자들이야말로 유령 같은 존재를 믿고 있지 않느냐는 반격이었죠. 동기는 종교 변론이었지만 논리는 정확했고, 수학자들은 답을 갖고 있지 않았습니다. 미적분은 결과가 맞아서 쓰는 도구였지, 정당화된 이론이 아니었던 것입니다.
코시와 바이어슈트라스: 유령의 퇴마
퇴마는 19세기에 이뤄집니다. 코시(Cauchy)는 1821년의 강의록 『해석학 교정』에서 무한소 대신 극한을 해석학의 공식 기초로 세웠고, 바이어슈트라스(Weierstrass)가 베를린 강의에서 그 극한 개념 자체를 부등식의 언어로 완성했습니다. 이것이 엡실론-델타(ε-δ) 정의입니다.
발상은 도전과 응수의 게임입니다. "x가 a에 가까워질 때 f(x)의 극한이 L이다"라는 말은 이렇게 번역됩니다. 상대가 오차 허용치 ε을 아무리 작게 제시하더라도, 나는 입력의 근접 범위 δ를 찾아서, a에서 δ 이내인 모든 입력에 대해 출력이 L에서 ε 이내임을 보장할 수 있다는 것입니다. 모든 도전에 응수할 수 있으면 극한은 L이고, 단 하나의 ε에라도 응수하지 못하면 아니죠. 핵심은 이 정의 어디에도 유령이 없다는 것입니다. "한없이 가까이 간다" 같은 운동의 은유도, 무한히 작은 양도 없습니다. 보통의 실수와 부등식, 그리고 "모든 ~에 대해 ~가 존재한다"는 논리 구조만 있죠. 무한이 유한한 문장으로 완전히 번역된 것입니다.
괴물의 출현: 직관은 증명이 아니다
엄밀화는 곧 위력을 증명합니다. 당시 수학자들은 연속함수란 그려지는 곡선이므로 꺾인 점 몇 개를 빼면 어디서나 접선을 갖는다고 믿었습니다. 그런데 1872년 바이어슈트라스가 모든 점에서 연속이지만 어느 한 점에서도 미분 불가능한 함수를 제시합니다. 진폭이 줄고 진동은 격해지는 파동을 무한히 겹쳐 만든 이 함수는 아무리 확대해도 매끄러워지지 않고 모든 배율에서 뾰족합니다. 볼차노(Bolzano)가 앞서 비슷한 예를 만들었지만 생전에 알려지지 못했죠.
충격은 컸습니다. 노장 에르미트(Hermite)는 "도함수 없는 함수라는 통탄할 재앙에서 공포로 눈을 돌린다"고 썼고, 이런 예들은 한동안 "괴물"이라 불렸습니다. 그러나 괴물이 가르친 교훈이 바로 엄밀화의 요점입니다. 그림과 직관은 증명이 아닙니다. 직관이 "당연하다"고 속삭이는 명제 중 일부는 거짓이며, 어느 것이 거짓인지는 정의와 증명만이 가려냅니다. 훗날 이런 함수는 괴물이 아니라 흔한 존재(브라운 운동의 경로가 바로 이런 꼴입니다)임이 드러났죠. 병리적이었던 것은 함수가 아니라 직관이었던 셈입니다.
엄밀성은 사치가 아니다
엄밀화를 결벽증으로 보는 시선도 있었습니다. 답이 맞는데 왜 따지느냐는 것이죠. 답은 이렇습니다. 첫째, 무한을 다루는 직관은 실제로 오류를 낳았습니다. 조건수렴 급수의 재배열(5강), 극한과 합의 순서를 함부로 바꾼 계산들이 서로 모순되는 결과를 내놓고 있었고, 판정 기준 없이는 어느 쪽이 옳은지 결정할 수조차 없었죠. 둘째, 엄밀한 정의는 개념의 경계를 드러내 새 수학을 낳았습니다. 연속, 수렴, 적분 가능성이 정밀하게 구분되면서 실수의 본성에 대한 질문이 열렸고, 이는 데데킨트와 칸토어의 실수 구성과 집합론으로 이어집니다. 해석학(analysis)이라는 분과는 이렇게 태어났습니다. 미적분이라는 도구에 기초를 묻는 순간, 도구는 학문이 된 것이죠. 무한을 세는 다음 이야기는 확률론을 지나 집합론에서 다시 만납니다.
인출 문제
생각해볼 질문 (정답 없음)
- 결과가 늘 옳은 도구를 정당화 없이 150년간 쓴 것은 수학의 수치일까요, 아니면 건강한 실용주의일까요. 오늘날의 심층학습과 비교해 보시죠.
- 20세기의 비표준 해석학은 무한소를 엄밀한 수로 복권시켰습니다. 그렇다면 버클리의 비판은 결국 틀렸던 것일까요, 아니면 당대에는 옳았던 것일까요.