모던지 / 수학 / 수학의 언어 5강. 무한과 칸토어

수학의 언어 5강. 무한과 칸토어

무한에도 크기가 있고, 어떤 무한은 다른 무한보다 큽니다. 이 발견은 발견자의 삶을 대가로 요구했습니다.

풀고 시작

문제 1. 객실이 무한히 많고 모두 만실인 힐베르트 호텔에 새 손님 한 명이 도착했습니다. 지배인의 해법은?
방이 자연수만큼 있으므로 마지막 방이라는 것이 없습니다. 각 투숙객을 한 칸씩 옮기면 모두 갈 방이 있고 1호실이 비죠. "만실이면 끝"이라는 유한의 직관이 무한에서 무너지는 첫 장면이며, 이 강 전체가 그 직관 붕괴의 연대기입니다.

크기를 세지 않고 비교하기

부분이 전체와 같은 크기일 수 있다면 믿으시겠습니까. 칸토어(Cantor, 1845~1918)의 출발점은 3강의 전단사입니다. 두 집합 사이에 전단사가 존재하면 두 집합의 크기가 같다고 정의합니다. 원소를 셀 수 없어도 짝짓기는 할 수 있기 때문이죠. 이 정의를 무한에 적용하면 이상한 일이 벌어집니다. 짝수 전체는 자연수 전체의 진부분집합이지만, n을 2n에 대응시키는 전단사가 있으므로 자연수와 크기가 같습니다. 갈릴레오가 역설이라 부르고 물러섰던 바로 그 지점을, 칸토어는 무한집합의 정의로 삼았습니다. 자연수와 짝지어지는 무한을 가산 무한(countably infinite)이라 하고 그 크기를 ℵ₀(알레프 제로)로 씁니다. 놀랍게도 유리수도 가산입니다. 분자와 분모로 만든 격자를 대각선 방향으로 지그재그로 훑으며 번호를 붙이면, 모든 유리수가 언젠가 반드시 호명됩니다.

대각선 논법: 셀 수 없는 무한

그렇다면 실수도 가산일까요. 1891년 칸토어의 대각선 논법(diagonal argument)이 아니라고 답합니다. 2강의 귀류법으로 전개해 봅시다. 0과 1 사이의 실수 전체를 어떤 방식으로든 빠짐없이 나열했다고 가정합니다. 각 실수를 무한 소수로 적습니다.

1번: 0.a₁a₂a₃… 2번: 0.b₁b₂b₃… 3번: 0.c₁c₂c₃…

이제 새로운 수 x를 만듭니다. x의 첫째 자리는 1번 수의 첫째 자리와 다르게, 둘째 자리는 2번 수의 둘째 자리와 다르게, 일반적으로 n번째 자리는 n번 수의 n번째 자리와 다르게 고릅니다(이를테면 그 자리가 5이면 4로, 아니면 5로 정합니다). 그러면 x는 목록의 어떤 수와도 적어도 한 자리가 다르므로 목록에 없습니다. "빠짐없이 나열했다"는 가정이 무너지죠. 결론은 이렇습니다. 실수는 비가산이며, 실수의 무한은 자연수의 무한보다 큽니다. 나아가 칸토어는 어떤 집합도 자기 멱집합보다 작음을 같은 수법으로 증명했습니다. 1강에서 본 "멱집합은 항상 더 크다"가 무한까지 관철되므로, 무한의 크기는 끝없이 올라가는 사다리를 이룹니다.

연속체 가설: 증명도 반증도 불가능한 명제

곧바로 다음 질문이 옵니다. ℵ₀와 실수의 크기 사이에 또 다른 무한이 있을까요. 없다는 주장이 연속체 가설(continuum hypothesis)입니다. 칸토어는 평생 이것을 증명하려다 실패했습니다. 답은 사후에 왔고, 예상 밖의 형태였죠. 괴델은 1940년 연속체 가설이 ZFC와 모순되지 않음을, 코언(Cohen)은 1963년 그 부정 역시 모순되지 않음을 증명했습니다. 곧 연속체 가설은 ZFC 공리로는 증명도 반증도 할 수 없습니다(독립성). 1강에서 세운 토대 자체가 답하지 못하는 질문이 있다는 사실이 드러난 것입니다.

칸토어의 비극과 힐베르트의 낙원

칸토어 개인의 삶은 어두웠습니다. 당대의 거물 크로네커(Kronecker)는 완결된 무한을 수학의 대상으로 삼는 것 자체를 거부하며 칸토어의 이론을 공격했고 그의 경력을 가로막았습니다. 칸토어는 반복되는 우울증으로 여러 차례 요양 시설에 입원했고, 1918년 할레의 병원에서 세상을 떠났습니다. 그러나 역사의 판정은 힐베르트의 문장으로 남았습니다. "누구도 칸토어가 만들어 준 낙원에서 우리를 쫓아낼 수 없다." 집합, 논리, 함수, 수 체계, 그리고 무한. 이 다섯 강이 놓은 언어 위에서, 다음 과목인 대수학은 방정식이라는 수학의 오래된 드라마를 다시 읽습니다.

인출 문제

문제 1. 짝수 전체의 집합과 자연수 전체의 집합의 크기 비교로 옳은 것은?
크기 비교의 기준은 포함 관계가 아니라 전단사의 존재입니다. n과 2n의 대응은 빠짐도 겹침도 없는 완벽한 짝짓기이므로 두 집합의 크기는 같죠. 진부분집합이 전체와 같은 크기일 수 있다는 것이 무한집합의 특징입니다.
문제 2. 유리수 전체가 가산 무한임을 보이는 방법은?
격자를 대각선 방향으로 훑으면 모든 유리수가 유한한 순번 안에 호명되므로 자연수와의 전단사가 만들어집니다. 크기 순 나열은 불가능합니다. 어떤 유리수의 바로 다음 유리수라는 것이 없기 때문이죠. 조밀함은 가산성과 무관한 성질입니다.
문제 3. 대각선 논법에서 새 수 x를 만드는 규칙은?
대각선을 따라가며 자리마다 다르게 만들면 x는 목록의 어떤 수와도 최소 한 자리가 달라 목록에 존재할 수 없습니다. 이로써 실수를 빠짐없이 나열했다는 가정이 무너지죠. 목록에는 끝이 없으므로 끝에 덧붙인다는 발상 자체가 성립하지 않습니다.
문제 4. 괴델과 코언의 결과가 연속체 가설에 대해 밝힌 것은?
괴델은 가설을 더해도, 코언은 그 부정을 더해도 ZFC와 모순이 없음을 각각 증명했습니다. 두 결과를 합치면 ZFC 안에서의 독립성이 되죠. 참도 거짓도 증명된 것이 아니며, 표준 공리계가 답하지 못하는 질문이 존재한다는 뜻입니다.

생각해볼 질문 (정답 없음)

  • 연속체 가설이 ZFC에서 독립이라면, 그래도 이 명제는 "사실은 참이거나 거짓"일까요. 아니면 어떤 공리를 고르느냐의 문제일 뿐일까요.

이전: 4강 수 체계 · 다음: 대수학 1강

모던지 · 궁금하면 모던지 GitHub · 2026-09-10