정수론 3강. 페르마와 오일러
여백에 적힌 낙서 한 줄이 357년 동안 수학을 끌고 갔습니다. 쓸모를 묻지 않은 사람들이 가장 쓸모 있는 정리를 남겼습니다.
풀고 시작
툴루즈의 법률가, 수학의 왕자
피에르 드 페르마(Pierre de Fermat, 1601~1665)는 프랑스 툴루즈의 법률가였습니다. 수학은 직업이 아니라 여가였고, 논문 대신 편지와 책 여백에 발견을 적었으며, 증명은 자주 생략했죠. 1640년 그는 동료에게 보낸 편지에서 훗날 페르마의 소정리(Fermat's little theorem)라 불릴 명제를 적고, "증명이 너무 길어질까 봐" 보내지 않는다고 덧붙였습니다.
정리의 내용은 이렇습니다. p가 소수이고 a가 p의 배수가 아니면 a^(p-1) ≡ 1 (mod p)입니다. 2강의 언어로 읽으면, mod p의 세계에서 거듭제곱은 방황하지 않고 p-1 걸음 안에 반드시 1로 돌아오는 주기 운동을 합니다. 소수라는 조건이 이 질서를 보장하죠. 2강에서 본 것처럼 소수를 법으로 하면 0이 아닌 모든 수로 나눗셈이 가능한데, 그 매끈함이 거듭제곱의 궤도까지 정돈하는 것입니다. 이 성질은 어떤 수가 소수인지 빠르게 판별하는 검사의 토대가 되었고, 오늘날 암호 시스템이 큰 소수를 찾을 때 실제로 쓰입니다.
오일러의 일반화: 피 함수
증명 없이 남은 이 명제를 처음 증명해 발표한 사람이 레온하르트 오일러(Leonhard Euler, 1707~1783)입니다. 그는 1736년 증명을 내놓았고, 거기서 멈추지 않고 물었습니다. 법이 소수가 아니면 어떻게 될까요?
답을 위해 오일러는 피 함수 φ(n)을 정의했습니다. φ(n)은 1부터 n까지의 수 중 n과 서로소인 것의 개수입니다. φ(12) = 4인데, 12와 서로소인 수가 1, 5, 7, 11의 네 개이기 때문이죠. 소수 p라면 자기보다 작은 모든 수와 서로소이므로 φ(p) = p - 1입니다. 오일러의 정리는 이렇게 말합니다. a와 n이 서로소이면 a^φ(n) ≡ 1 (mod n)입니다. 법이 소수일 때 φ(p) = p - 1을 대입하면 페르마의 소정리가 그대로 나옵니다. 특수한 발견이 더 넓은 법칙의 한 단면이었음이 드러나는 순간이죠. 특히 서로 다른 두 소수의 곱 n = p × q에 대해 φ(n) = (p - 1) × (q - 1)이라는 공식이 성립하는데, 이 한 줄이 다음 강에서 인터넷 암호의 심장이 됩니다.
여백의 낙서, 357년의 추격전
페르마는 더 유명한 유산도 남겼습니다. 1630년대에 그는 디오판토스의 『산술』 여백에 이렇게 적었습니다. n이 3 이상일 때 xⁿ + yⁿ = zⁿ을 만족하는 양의 정수 x, y, z는 없다. 그리고 덧붙였죠. "나는 놀라운 증명을 발견했으나 여백이 좁아 적지 못한다." 이것이 페르마의 마지막 정리(Fermat's Last Theorem)입니다.
이 낙서는 357년간 미해결로 남았습니다. 페르마 자신은 n = 4의 경우만 증명을 남겼고, 오일러가 n = 3을 해결했으며, 이후 수많은 수학자가 부분 결과를 쌓았습니다. 1908년에는 독일의 볼프스켈(Wolfskehl)이 증명자에게 거액의 상금을 남겨, 아마추어들의 오답 원고가 수천 통씩 쏟아지기도 했죠. 종지부는 앤드루 와일즈(Andrew Wiles)가 찍었습니다. 열 살에 이 문제를 만나 수학자가 된 그는 7년간 비밀리에 연구한 끝에 1993년 케임브리지 강연에서 증명을 발표했습니다. 그런데 반전이 있었습니다. 심사 과정에서 결함이 발견된 것이죠. 1년의 사투 끝에 1994년 제자 리처드 테일러와 함께 증명을 완성했습니다. 증명은 타원곡선이라는, 페르마가 상상할 수 없었던 현대 수학을 통과합니다. 그래서 오늘날 대부분의 수학자는 페르마가 실제로 완전한 증명을 갖고 있지는 않았을 것이라 봅니다.
쓸모를 묻지 않는 즐거움
페르마는 취미로, 오일러는 순수한 호기심으로 정수를 탐구했습니다. 수학자 하디(G. H. Hardy)는 1940년 『어느 수학자의 변명』에서 정수론이 아무 실용적 응용이 없는 가장 순수한 학문이라고 자랑스럽게 썼습니다. 이 자랑이 어떻게 역사상 가장 극적으로 뒤집혔는지, 다음 강의 RSA가 보여 줍니다.
인출 문제
생각해볼 질문 (정답 없음)
- 페르마가 실제로 증명을 갖고 있었을 가능성은 거의 없다고 평가됩니다. 그렇다면 그의 여백 메모는 수학사에 기여한 것일까요, 아니면 357년의 시간을 낭비시킨 것일까요?
- 하디는 쓸모없음을 순수함의 증표로 여겼습니다. 지식의 가치는 응용과 무관하게 매길 수 있을까요?