브라우어, 수학과 논리학의 이단자 [생활속의철학]

브라우어

브라우어

출생 - 사망 1881.2.27. ~ 1966.12.2

 
과학과 논리적 사고의 분야에서 뛰어난 업적을 남긴 사람들 중에는 삶과 세계에 대하여 신비주의 혹은 페시미즘적 태도를 취한 사람이 적지 않다. 뉴턴은 고전역학의 수퍼스타이지만 그의 주된 관심은 성경연구였으며 강한 신비주의 경향을 갖고 있었다. 또 우리가 오늘 살펴볼 브라우어(Luitzen Egbertus Jan Brouwer)의 세계관은 쇼펜하우어의 페시미즘적 영향을 강하게 받았지만, 그는 아리스토텔레스 이후 논리적 원칙으로 받아들여진 배중률(排中律, the Principle of Excluded Middle)의 정당성을 비판하고, 논리학과 수학 분야에서 획기적인 업적을 남겼다.

수학철학에 대한 관심
오래된 전통에 반기를 들다

 
친구들로부터는 ‘베르투스(Bertus)’라는 애칭으로 불리던 브라우어는 1881년 2월 네덜란드 로테르담 근처의 한 마을에서 태어났다. 그의 소년시절 학업성적은 매우 뛰어나 고등학교를 14살에 마칠 수 있었지만, 대학입학에 요구되는 그리스어 혹은 라틴어를 공부하느라 2년 후에야 암스테르담 대학 수학과에 입학하였다. 이미 대학생 시절에 두 점의 연결 관계를 기술하는 위상수학(topology) 분야에서 매우 중요한 정리들을 증명하여 그의 지도교수 코르트붸그(Korteweg)는 브라우어에게 논문출판을 권유하였다. 다른 한편 브라우어는 일찍부터 ‘수학의 기초에 대한 성찰’, 즉 수학철학에 관심을 가졌고 곧 철학일반으로 확대되었다. 여기서 그의 현실세계와 심지어 여성에 대한 혐오 및 페시미즘에 대한 경향이 발전되어 1905년에 [삶, 예술 그리고 신비주의(Leven, Kunst, en Mystiek)]라는 짧은 소책자를 발간하였다.

이미 1907년 박사학위 논문 ‘수학의 기초에 대하여’ 초고 2장에는 페시미즘, 신비주의에 대한 브라우어의 생각들이 여기 저기 흩어져 있었다. 그러나 그의 지도교수는 제자가 오로지 명징한 수학적인 내용만을 다루기를 원하였고 브라우어는 이 부분을 최종 논문에서 삭제해야만 했다. 그러나 1908년 발표한 역사적 논문 ‘신뢰할 수 없는 논리적 원칙’에서 고전논리학의 원칙중의 하나로서 2000년이 훨씬 넘게 자리를 지켜온 배중률에 대하여 강한 비판을 하기 시작하였다. 그렇다면 무엇이 브라우어로 하여금 이 오래된 전통에 반기를 들게 만들었을까?

수학이란 시간에 대한 직관의 산물
인간의 정신 밖에 수학적 진리가 있는 것이 아니다

 
브라우어에 의하면 수학이란 칸트가 주장한 ‘시간에 대한 직관’의 산물이며, 따라서 순수하게 인간 정신의 사고능력의 산물이다. 바꿔 말해 인간의 정신 밖에 수학적 진리가 있는 것이 아니며, 이른바 수학적 존재, 예를 들어 수(number)와 같은 것이 플라톤주의자들의 주장처럼 이데아의 세계에 존재하는 것이 아니다. 브라우어의 지도교수가 수학과는 아무런 상관도 없는 철학적 백일몽이라고 거부하였던 학위논문의 초고 내용이 실은 브라우어가 창시한 논리학과 수학에서 직관주의라고 부르는 혁명적 흐름의 시원(始原)이었다. 그리고 이러한 직관주의는 브라우어가 즐겨 인용한 인도의 고전 [바가바드-기타]의 다음의 구절을 연상시킨다.
 

오로지 자신의 내부에 즐거움과 열락과 만족이 있는 사람에게 반드시 해야만 할 일이란 없다.
그렇다면 수(數)가 인간의 외부에 실제로 존재한다고 보는 플라톤주의 혹은 수학적 실재론과 브라우어처럼 인간의 직관에 수가 존재한다고 보는 입장의 차이는 우리가 일상적으로 사용하는 수학에 어떤 결과를 가져올까?

 
우선 인간 정신의 외부에 수가 있다면 우리가 어떤 수학적 주장에 대하여 참과 거짓을 모르더라도 그것은 우리의 인식능력의 부족일 뿐이다. 그것은 ‘각자의 의견은 있어도 각자의 사실은 없다’는 과학세계의 격언처럼, 언덕 너머에 파랑새가 있는 지 없는 지에 대해서는 우리가 지금 전혀 결정할 수 없더라도 답은 원래부터 하나라고 보는 것과 다름이 아니다. 따라서 ‘어떤 주장이 참이던가 아니면 그 주장의 부정문이 참이다’라는 배중률은 플라톤주의처럼 수학적 실재론의 입장에서는 아무런 문제없이 사용할 수 있는 논리적 원칙이며, 바로 배중률을 무제한 인정하는 논리학을 우리는 ‘고전논리학(classical logic)’이라고 부른다.

그러나 브라우어처럼 수라는 존재가 인간의 정신 외부에 있는 것이 아니라 직관에 주어졌다고 볼 때는 수학적 주장의 참과 거짓은 오로지 인간정신이 그 진위판단을 경험할 수 있을 때에나 도입 가능하다. 그렇다면 ‘인간정신이 진위판단을 경험할 수 있다’는 것은 무엇을 의미할까? 다음 문장의 참, 거짓을 생각해 보자.

롯데마트의 ‘통큰치킨’은 5,000원이다.

 
지금은 판매중단이 되었지만 우리는 위 문장의 참, 거짓을 확인하기 위해서는 어느 롯데마트에 가서 실제로 통큰치킨이라는 상품이 있고 그 상품의 가격을 확인하면 된다. 그러나 다음과 같은 상황을 가정해 보자. 우리는 롯데그룹이 초고층건물을 매우 좋아하고 있음을 알고 있다. 예를 들어 500층짜리 제3 롯데월드가 있다고 치자. 그 건물의 맨 위층에 식품부가 있다면 매우 힘이 들겠지만 걸어 올라가거나 아니면 재수가 좋아 승강기를 타고 올라가 통큰치킨의 가격을 확인할 수가 있다. 이제 초고층그룹 롯데는 5,000층짜리, 50,000층짜리 제n 롯데월드를 만들 수 있고 항상 그 맨 위층에 통큰치킨을 판다고 하자. 이 경우 500층 보다는 훨씬 힘들지만 원칙적으로 확인 못할 이유는 없다. 이제 조금 더 비약해서 롯데그룹이라는 神이 초고층건물 롯데월드∞를 짓는데 그 층수는 ∞층이다. 역시 맨 위층에서 통큰치킨을 팔고 가격은 5,000원이라고 한다. 확인할 수 있을까? 인간의 육체적 능력으로도 정신적 능력으로도 결코 확인할 수가 없다. 왜냐하면 어느 누구도 원칙적으로 무한번 째 층에 도달할 수 없기 때문이다.

즉 수학적 진리를 인간정신의 산물이라고 본다면, 수학적 존재라고 부르는 것은 반드시 유한의 절차를 거쳐서 만들어질 수 있어야만 하고, 수학적 명제의 진위 역시 유한의 절차를 거쳐서 결정가능 해야 한다. 이것이 바로 ‘구성주의(constructive) 원칙’이다. 무한의 존재구성 절차나 진위판단 절차를 요구하는 수학적 명제는 참, 거짓을 판단할 수가 없으며, 따라서 배중률도 적용할 수가 없다. 반면에 플라톤주의자들은 무한이 실제로 존재한다면 그것은 인간의 인식능력과는 독립적이므로, 그러한 수학적 명제도 참, 거짓의 진리 값을 이미 갖고 있다고 본다. 그 예로 골드바하의 추측(Goldbach's Conjecture)을 살펴 보자.

논리학과 수학의 관계를 역전시킨
배중률 비판

 
골드바하의 추측은 ‘4보다 큰 모든 짝수가 두 개의 소수(素數)의 합으로 표시될 수 있다’는 명제다. 문제는 지금까지 검사한 4보다 큰 모든 짝수가 골드바하의 추측을 만족시키지만, 그렇다고 무한히 많은 모든 짝수를 다 검사할 수 있는 것도 아니며, 또 연역적으로 골드바하의 추측을 증명하지도 못했다.

무한과 관련하여서 골드바하의 추측과 흡사한 경우는 홀수 완전수에 대한 논의가 있다. 완전수란 ‘자기 자신을 제외한 약수들을 모두 더한 결과가 자기 자신과 일치하는 양의 정수’로서 그리스 때부터 알려져 왔다. 그 예로는 6=1+2+3, 28=1+2+4+7+14를 들 수 있다. 문제는 지금까지 알려진 모든 완전수는 짝수이지만, 홀수에서 완전수가 나오지 말라는 법도, 나오라는 법도 없다. 즉 골드바하의 추측이나 ‘어떤 완전수는 홀수이다’라는 수학적 명제는 브라우어에 의하면 결코 배중률을 적용해서는 안 되는 명제, 즉 열린 문제(open problem)들이지만, 플라톤주의자들에게는 전혀 상관이 없는, 이미 이데아의 수학세계에서 결정이 된 명제이다.

어쩌면 이런 문제들은 실제 수학자나 대학입시를 위해서 수학을 공부하는 학생들에게는 할 일 없는 사람들의 공리공담으로 치부될지도 모른다. 그러나 무한의 영역에서 배중률의 인정여부는 우리가 생각하는 것보다 훨씬 더 현실적인 문제다. 그 이유는 배중률이 이른바 ‘이중부정은 긍정이다’라는 주장을 함축하고, 바로 이 ‘이중부정은 긍정이다’라는 주장이 성립해야 수학에서 귀류법(regress ad absurdum)을 이용한 간접증명이 허용될 수 있기 때문이다. 문제는 간접증명이 무한의 영역에서 많이 사용되고 있다는 점이다. 한 마디로 배중률 없이는 고전논리학을 사용하는 고전수학의 상당부분은 더 이상 증명되지 않은 ‘추측’으로만 남을 뿐이다.

브라우어의 배중률 비판은 논리학과 수학과의 관계를 역전시켰다. 러셀이나 프레게처럼 수학이 논리학에 의존한다고 보는 입장과는 달리, 브라우어는 논리학이 수학에 의존해야 한다고 보았다. 이점은 동시에 논리학의 위치에 대하여도 새로운 시각을 열었다. 논리학이 이 세계의 구조를 보여주는 학문이라면 우리는 우리의 사고를 논리학에 맞추어야 하겠지만, 논리학이 우리의 사고 구조를 보여주는 학문이라면 논리학이 우리의 사고에 맞추어야 한다. 바로 후자가 브라우어의 입장임은 물론이다.

'수가 인간의 직관에 주어졌다'는
직관주의

 
브라우어는 자신의 수학적 입장을 직관주의라고 불렀다. 유감스럽게도 ‘수가 인간의 직관에 주어졌다’는 브라우어의 언명과 그의 신비주의적 경향은 직관주의에 수많은 불필요한 오해를 불러일으켰다. 그러나 그의 무한의 영역에서 배중률의 비판은 이제 일체의 신비주의적 그늘 없이 엄밀히 형식화된 논리학으로 자리 잡게 되었다. 예를 들어 브라우어의 제자 하이팅(A. Heyting)은 직관주의 논리학을 처음으로 형식화하였으며, 독일의 구성주의 철학자 로렌첸(P. Lorenzen)과 로렌츠(K. Lorenz)에 의해 대화논리학(Dialogische Logik)으로 그 철학적 기초를 확보하였다. 특히 컴퓨터의 일상화는 컴퓨터의 연산과정이 항상 유한에 그쳐야 한다는 점에서 논리적 이단자 브라우어의 철학적 성찰이 현대의 기계적 현실에서 매우 유용함을 증명하였다.

다른 한편 구성주의 원칙은 철학 일반에도 영향을 끼쳐 지금까지 막연히 존재한다고 가정했던 많은 것들, 예를 들어 시간과 공간에 연장되어(prolonged) 존재한다는 개체(individual)가 어떻게 순차적으로 구성될 수 있는 지 등이 철학적으로 중요한 과제로 인식되게 만들었다. 이러한 구성주의적 철학은 놀랍게도 동양철학의 일반적 성향과도 연결이 되기 시작하였다. 예를 들어 모든 개체 중에서 우리가 가장 중요시 여기는 개체는 바로 우리 자신, 즉 ‘나’라는 존재이며, 이 나라는 존재가 없다는 주장은 도가(道家)나 불가(佛家)에서 늘 해왔던 것이다. 즉 지금까지 일종의 직관 내지는 신비주의적으로 해석되던 동양사상이 거꾸로 구성주의 철학과의 만남을 통해 ‘철학의 윤리’라고 부르는 ‘정당성의 요구’를 극한까지 밀고 간 사상일 수도 있음이 점차 드러나고 있다. 그리고 이러한 과정을 통해 우리가 철학적 섬들로 간주했던 동서의 주요 철학자들의 주장이 실은 하나의 공통된 주제의 변주곡들일 가능성도 아울러 감지되고 있다. 그것은 네이버의 ‘철학의 숲’에서는 파르메니데스의 일자(一者)부터 라이프니츠의 무한소, 흄의 인과관계 비판 그리고 퍼스의 기호학과 러셀의 역리, 마지막으로 브라우어의 배중률 비판으로 이어져 왔다. 아직 그 윤곽이 분명히 드러나지는 않았지만....