모던지 / 수학 / 기하학 2강. 비유클리드 기하학

기하학 2강. 비유클리드 기하학

평행선 공준을 부정해도 모순은 나오지 않았습니다. 대신 새로운 우주가 나왔고, 훗날 물리학이 그 우주로 이사했습니다.

풀고 시작

문제 1. 유클리드의 평행선 공준을 부정한 공리계를 끝까지 밀고 나가면 어떻게 될까요?
2000년간 수학자들은 부정에서 모순을 끌어내 공준을 귀류법으로 증명하려 했지만 모순은 끝내 나오지 않았습니다. 가우스, 보여이, 로바쳅스키는 그 결과물이 모순이 아니라 자체로 정합적인 새 기하학임을 깨달았죠. 이상하다는 느낌은 모순이 아닙니다.

2000년의 증명 시도

역사상 가장 생산적인 실패담을 하나 들려드리겠습니다. 1강에서 본 다섯 번째 공준의 찜찜함은 곧바로 도전 과제가 됐습니다. 고대의 프로클로스부터 11세기 페르시아의 오마르 하이얌, 18세기의 람베르트까지, 수많은 수학자가 나머지 공준들로부터 평행선 공준을 증명하려 했죠. 가장 극적인 시도는 이탈리아의 예수회 신부 사케리(Saccheri)입니다. 그는 1733년 『모든 흠에서 벗어난 유클리드』에서 공준을 부정하고 귀류법으로 모순을 찾아 나섰습니다. 그런데 모순 대신 기이하지만 정합적인 정리들만 줄줄이 나왔습니다. 삼각형 내각의 합이 180°보다 작다는 식이었죠. 사케리는 이 결과가 "직선의 본성에 어긋난다"고 선언하며 증명이 끝났다고 자평했지만, 실제로 그가 한 일은 비유클리드 기하학의 정리들을 자기도 모르게 증명한 것이었습니다. 모순은 어디에도 없었습니다.

세 사람, 하나의 발견

19세기 초, 세 사람이 독립적으로 결론을 뒤집습니다. 부정에서 모순이 안 나오는 이유는 부정해도 성립하는 기하학이 실제로 존재하기 때문이라는 것이죠. 가우스(Gauss)는 일찍부터 이 결론에 도달했지만 "보이오티아인들(어리석은 자들)의 아우성이 두렵다"며 생전에 발표하지 않았습니다. 러시아 카잔의 로바쳅스키(Lobachevsky)는 1829년에, 헝가리의 청년 보여이 야노시(Bolyai János)는 1832년 아버지 책의 부록으로 각자 새 기하학을 발표했습니다. 보여이는 아버지에게 "무에서 새로운 세계를 창조했습니다"라고 썼죠. 그러나 가우스가 "칭찬하면 나 자신을 칭찬하는 셈"이라며 자신도 이미 알고 있었다고 답하자 크게 낙담했고, 두 발표 모두 당대에는 거의 주목받지 못했습니다. 새 기하학이 유클리드 기하학과 동등하게 무모순임은 1868년 벨트라미(Beltrami)가 모형을 만들어 보이면서 확립됐습니다. 비유클리드 기하학에 모순이 있다면 유클리드 기하학에도 있어야 한다는 상대적 무모순성 증명입니다.

세 기하학의 풍경

평행선 공준의 자리에는 세 가지 선택지가 있고, 각각 다른 우주가 됩니다.

구분 한 점을 지나는 평행선 삼각형 내각의 합 모형
유클리드 기하 정확히 1개 정확히 180° 평면
쌍곡 기하 무한히 많음 180°보다 작음 말안장 모양 곡면
구면(타원) 기하 없음 180°보다 큼 구면 (직선은 대원)

쌍곡 기하에서는 내각의 합이 180°에서 모자라는 양(결손)이 삼각형 넓이에 비례하고, 구면 기하에서는 넘치는 양(초과)이 넓이에 비례합니다. 지구본에서 적도의 두 점과 북극을 잇는 삼각형을 그려 보시면 직각이 두세 개 들어가는 것을 바로 확인할 수 있습니다. 작은 삼각형일수록 세 기하학의 차이는 줄어듭니다. 그래서 국소적 측정만으로는 우리가 어느 기하 안에 사는지 알기 어렵죠.

진리 논쟁과 물리학에서의 부활

이 발견은 수학을 넘어 철학을 흔들었습니다. 칸트는 유클리드 기하학을 경험 이전에 확실한 선험적 종합 판단의 모범으로 삼았는데, 기하학이 여럿이라면 그 확실성은 무너집니다. 공리는 자명한 진리가 아니라 선택 가능한 가정이고, 수학의 무모순성과 물리적 참은 별개 문제라는 관점이 자리 잡았죠. 어느 기하가 실제 공간에 맞는지는 이제 경험적 질문이 됐습니다. 그리고 놀라운 후속편이 기다리고 있었습니다. 1854년 리만(Riemann)이 곡률이 곳에 따라 달라지는 일반화된 기하학을 제시했고, 아인슈타인은 1915년 일반상대성이론에서 바로 이 리만 기하학으로 중력을 기술합니다. 질량이 시공간을 휘게 하고, 행성은 힘에 끌리는 것이 아니라 휘어진 시공간의 가장 곧은 길을 따라간다는 것이죠. 1919년 에딩턴의 개기일식 관측이 태양 곁을 지나는 빛의 휘어짐을 확인하면서, 한때 지적 유희로 취급받던 비유클리드 기하학은 우주의 실제 기하학 후보가 됐습니다. 좌표로 기하를 다루는 기술은 다음 강에서 만납니다.

인출 문제

문제 1. 사케리의 1733년 작업이 역설적인 이유는 무엇일까요?
사케리는 공준을 부정하면 모순이 나올 것이라 믿고 정리들을 도출했지만 나온 것은 모순이 아니라 정합적인 새 기하학의 정리들이었습니다. 그는 "직선의 본성에 어긋난다"며 증명 성공을 선언했지만 그것은 논리적 모순이 아니라 직관적 거부감일 뿐이었죠.
문제 2. 가우스가 비유클리드 기하학 연구를 생전에 발표하지 않은 이유로 본문이 전하는 것은 무엇일까요?
가우스는 "보이오티아인들의 아우성이 두렵다"는 표현으로 학계와 세간의 반발을 꺼렸음을 밝혔습니다. 유클리드 기하학의 확실성은 당대 지성계의 상식이자 칸트 철학의 기둥이었기에, 그것을 부정하는 발표는 큰 논란을 부를 일이었습니다.
문제 3. 구면 기하학에서 삼각형 내각의 합은 어떻게 될까요?
구면에서 직선 역할은 대원이 하고, 대원들로 만든 삼각형의 내각 합은 180°를 넘습니다. 적도 위 두 점과 북극으로 만든 삼각형에는 직각이 여러 개 들어가죠. 넘치는 양이 넓이에 비례하므로 작은 삼각형일수록 180°에 가까워집니다.
문제 4. 비유클리드 기하학이 일반상대성이론에서 부활한 방식은 무엇일까요?
아인슈타인은 리만 기하학을 써서 중력을 힘이 아니라 시공간 곡률로 기술했습니다. 행성과 빛은 휘어진 시공간의 가장 곧은 길을 따라가며, 1919년 일식 관측이 빛의 휘어짐을 확인했죠. 어느 기하가 맞는지가 경험적 질문이 된 결과입니다.

생각해볼 질문 (정답 없음)

  • 공리가 자명한 진리가 아니라 선택이라면, 수학적 지식의 확실성은 어디에 남을까요?
  • 우리가 사는 공간의 기하를 공간 안에서의 측정만으로 완전히 알아낼 수 있을까요?

이전: 1강 유클리드와 공리적 방법 · 다음: 3강 좌표기하학

모던지 · 궁금하면 모던지 GitHub · 2026-09-10