양자시대의 수학과 미래수학

에필로그 - 수학의 새로운 진로 모색

1. 사이버네틱스

(1) 위너( N. Winner  1894 - 1964 ) 의 발상

어려서부터 천재로 이름난 위너는 14세에 하버드에 입학하여 19세에 <화이트헤드와 러셀의 수학사상> 에 관한 연구로 박사학위를 받았다. 그후 켐브리지 대학에서 러셀 그리고 독일 괴팅겐 대학에서 힐버트의 지도를 받은 위너는 현대수학의 계통에서 자신의 사상적 기반을 닦은 셈이다.

1948년에 위너는 그의 유명한 저서 <사이버네틱스>를 내놓았다.

사이버네틱스란 말은 고대 그리스어인 큐벨네데스(배를 조정하는 사람)를 어원으로 하고 있다. 이 책은 <동물과 기계의 제어와 통신>이라는 부제가 붙은 사실로도 짐작할수 있듯이 동물과 기계를 관련시키고 있다는 점이 주목된다. 사이버네틱스의 가장 중요한 개념은 feed back 기구이다. feed back이란 어떤 행동의 결과가 처음의 행동으로 되돌아오는 것을 뜻한다. 경제 정치의 여러 분야에서 이런 현상을 볼 수 있으며 이것을 연구하는 학문이 사이버네틱스이다.

예를 들면 뉴턴 역학에 있어서의 작용과 반작용, 국제간의 외교정책, 심지어 눈에는 눈, 이에는 이라는 따위 , 고대법률에 이르기까지도 일종의 feed back으로 볼 수 있다. 위너는 사이버네틱스를 다음과 같은 말로 정의하였다.

"사이버네틱스는 어떤 상태의 두 변수가 있을 때 그 하나는 제어가 가능하지만 다른 하나는 제어가 불가능할 경우, 제어할 수 없는 변량의 과거에서 현재까지의 값에 따라 제어할 수 있는 변량의 값을 적당하게 조정하여 우리가 바라는 좋은 상태로 바꾸어 갈 수 있는 방법이다. "

위너의 사상을 요약하면 다음과 같다. 신은 인간에 비해 월등한 지식과 능력을 가진 존재에 지나지 않는다. 그러니까 신과 인간은 정도의 차이가 있을 뿐 다 같은 차원에 속한다. 또 인간은 기계에 비해서 훨씬 큰 능력을 가진 존재일뿐 같은 계열에 속하는 셈이다. 결국 신 = 기계라는 명제가 이끌어진다. 여기서 중요한 것은 생명체인 인간은 무기물인 기계와 동일시하고 있다는 것이다. 위너는 기계란 입력을 출력으로 바꾸는 장치라고 정의하였다. 즉, 그가 말하는 기계는 실제로 존재하는 기계일 수도 있고, 그 밖에 머리 속에서 생각하는 가상적인 기계일수도 있다. 따라서 인간을 포함한 모든 생물은 기계이고, 사회도 그리고 신도 하나의 기계임에 틀림없다. 그러나 위너의 기계주의는 이전의 인간 기계론과는 판이한 성격을 지니고 있어서 그의 인간관 및 사회간은 맹목적인 기계주의 사상과는 거리가 먼 이론이었다.

(2) 인간적이면서 비인간적인 과학

사이버네틱스라는 괴상한 이름을 가진 이 연구분야는 요컨데 인간이나 기계에 있어서의 제어 통신의 이론과 기술 등을 종합한 새로운 과학이다.

사이버네틱스의 방법은 자연과학의 연구에서 흔히 볼 수 있는 규칙적인 방법과는 다르다. 물리학, 생물학의 연구는 귀납법이 효과적인데 그것은 복잡한 현상을 부분적으로 분석하는 데서 비롯된다. 가령 자동차를 예로 든다면 본질적인 부분인 엔진 및 타이어 등을 분석함으로써 그 구조를 파악할 수 있다. 인체에 관해서도 마찬가지로 여러 가지 기관을 부분적으로 분석함으로써 그 조직을 해명할 수 있다. 그러나 인간의 본질을 규명할 때는 움직인다, 생각한다, 말한다, .... 등의 온갖 행위를 내포하는 생물체로써의 인체를 생각해야한다. 이러한 시스템으로서의 전체를 규명하는 데 사이버네틱스는 적합한 이론이다.

인적, 물질적 자원을 충분히 합리적으로 활용하는 일은 전쟁시에는 더욱 절실해진다. 위너는 젊었을 떄 의 탄도 계산의 경험을 이용하여 계산기술을 전자공학의 문제에 응용하는 일을 생각하였는데, 때마침 제 2차 세계대전이 일어나자 고사포의 자동화 연구에 착수하였다. 그의 관심은 자동제어 장치의 이론을 통신공학의 문제로서 다루는 데 있었다. 그는 자신이 세운 수학이론을 이 문제에 응용하여 큰 성과를 이루었다. 또 하버드 대학 재학시절 생물학 연구에 정열을 태운 적이 있었던 그는 생물체와 기계의 기능에 관한 유사성에 착안하여 통신과 제어를 통일하는 이론을 발전시키는 데 성공하였다. 그는 이 새로운 과학에 사이버네틱스라는 이름을 붙였다 그는 이 같은 견해를 <사이버네틱스, 또는 동물과 기계의 제어와 통신>이라는 제목의 저서로 내놓았다.

위너가 개척한 이 새로운 과학은 크게 다음의 세 영역으로 나누어 질 수 있다.

(1) 정보이론 : 통신의 착상과 그 전달에 관한 통계적 이론

(2) 자동제어이론: 주로 피드백의 이론이다. 신경 특히 뇌의 기능과 컴퓨터 및 기계제어장치와의 유사점 및 차이에 관한 검토와 분석

(3) 자동계산기 이론

사이버네틱스가 개발 된지 불과 20년만에 창시자 위너가 예언한대로 이 이론의 발전이 인류의 미래에 엄청난 영향을 미치게 되리라는 것이 명백해졌다. 분만 아니라 이 학문과 관련해서 전기공학, 통계학 , 오토메이션등이 새로운 양상을 띠게 되었다.

사이버네틱스를 연구하는 목적을 위너는 다음과 같이 말했다. "인간을 기계적인 작업에서 해방시키고 인간이 타고난 재능을 살리며 인간으로 하여금 진실한 의미에서의 인간적인 활동을 할 수 있도록 한다."

그는 사이버네틱스 이외에는 인류의 생존을 가능케 하는 것이 없다고 확신한 듯하다. 아무튼 사이버네틱스는 '인간적인 과학' 임과 동시에 인간과 기계를 동일한 관점에서 다루는 극히 '비인간적인 과학'이라는 점에서 20세기 후반의 시대 환경에 어울리는 이론임에 틀림없다.

(3) OR 이론

이러한 전쟁수행에 따르는 기술적인 처리방법과 관련된 과학자들의 연구활동을 통틀어 Operation Research, 즉 OR 로 부르게 되었다. OR의 등장이 의미하는 것은 과학자가 무기의 개발보다는 직접 작전에 참여했다는 사실이었다. 이 방법은 연합국 측에 급속히 보급되어 독일의 U보트 작전 일본의 가미가제 작전에 대항하는 전술에 이용되어 막대한 효과를 거두었다. 그리하여 이제 평화의 시대를 맞이하면서 OR은 학교 , 산업, 무역,.....등에 널리 쓰이게 된 것이다. 기업경쟁, 경영전략 등은 사람을 직접 사살하지 않을 뿐 전쟁과 같은 형태를 지닌다.

OR 의 바탕을 이루는 것은 한마디로 과학정신이다. 방법은 비록 초등적 일지라도 문제의 내용이 자세히 분석되고 합리적으로 처리된다. 지휘자 지도자는 판단을 정확히 하기 때문에 아무리 문제가 복잡해 보이더라도 그 상황을 지배하는 어떤 법칙성을 파악하고 그 현상에는 되풀이되는 일이 있음을 알아차린다. OR은 이 되풀이되는 현상을 발견하고, 그것을 수량화함으로써 그것을 지배하는 법칙성에 대해서 합리적으로 대응을 한다.

(4) 게임의 이론

이처럼 전략을 수립하는데 게임을 모델로 해서 추상화하고 공리화해서 수리적인 분석을 내놓는 이론을 '게임이론'이라고 한다. 이 이론은 1928년 노이만이 제안하였으며 1944년 미국의 경제학자 모겐스턴과 함께 <게임과 경제 행동의 이론>을 발표했다. 2차대전 중에 이 이론이 활용되고, P.모스에 더욱 발전되었다. 게임은 일반적으로 참가자의 수와 이해 갈등의 정도를 기준으로 하여 분류된다. 게임에서 쌍방이 모두 만족하는 결과를 게임의 해 또는 이득함수의 안점이라고 하는데 안점이 있는 게임을 결정적인 게임이라고 한다.

게임이론에 있어서의 전략은 참가자의 행동으로 결정된다. 즉, 당사자들의 이익분배가 그것이다. 따라서 전략은 최대 이득을 얻으려고 시도하는 당사자들의 행동을 파악함으로써 이루어진다. 수학적으로는 일반적인 해가 각 경우마다 다른 것이 보통이며, 따라서 상당히 복잡한 양상을 나타내게 된다. 이 이론은 조합이론과 집합론, 수리논리학 등이 중심이 된다.

폰 노이만은 이 이론을 개발하여 결정적인 경우가 아닌 게임에서도 최선의 전략으로 , 단 한가지의 합리적인 방법이 있음을 증명하였다. 그로부터 게임이론은 여러 분야에서 폭 넓게 응용되고, 통계이론에서 왈드의 결정함수이론을 태어나게 했다. 경제학에서는 재고 관리의 문제 ,선형계획법, OR이론에도 응용되었다.

2. 카타스트로피 이론

연속적인 원인이 연속적인 결과를 낳는다고 할 수 없다. 전등의 스위치를 off에서 on으로 천천히 연속적으로 조작하여도 전류가 off에서 on으로 갑자기 변하는 순간이 있다. 전등의 스위치에서는 연속적인 변화가 불연속적인 결과를 낳는다. 수학의 대부분이나 물리학의 대부분은 지금까지 오직 연속적 변화를 연구해 왔다. 그런데, 현대의 탁월한 수학자중의 한사람인 르네 톰(R. THom)은 불연속 변화에 대하여 심오한 이론을 발견하였는데 이것을 카타스트로피 이론이라 한다. 1974년 국제다양체회의에서 프랑스의 수학자 르네 톰과 지만 두 교수는 각각 카타스트로피 이론과 그 응용을 발표하여 세상을 놀라게 하였다. 아직 초기 단계에 머무른 짧은 기간에 비해 그 이론이 이룩한 내용을 미루어 보면 미래에 전개될 잠재성을 충분히 졈쳐 볼 수 있다.

(1) 기하학에서 카타스트로피 이론까지

수학의 분야에서는 그 나름대로 논증과 실증의 두 파가 있다. 대수적인 방법이 전자의 경우라고 보면 기하학적인 방법이 후자에 속한다.

기하학을 성립시킨 주관적인 근거는 '본다'는 인간의 직관력에 있다 눈의 기능을 미의식으로 승화시킨 것이 화학적인 예술이라고 한다면, 그것을 논리적으로 승화시킨 것이 기하학이다. 어떤 전문 영역에 종사하는 사람들도 자기가 하고 있는 일이 최고라는 자부심이 있다. 수학자에게는 '수학은 과학의 여왕'이라는 자부심이 있고, 그 중에서도 기하학자는 '기하학은 학문의 여왕'이라는 신념이 있다. 사실 수학자들의 긍지에 어울릴만큼 이 <여왕>고전기하학 - 은 위엄을 갖추고 있다. 그러나 이제 기하학의 성격도 크게 변했다. 오늘날 기하학은 보다 인간에 가까워지고 현실 생활에서 경험하는 특이한 상황까지를 다루게 되었다. 파국(catastrophe)으로 불리우는 극한 상황을 연구하는 기하학은 이러한 분위기를 배경으로 하여 태어났다.

수학의 모든 분야의 수법을 전부 동원해서 새로운 분야를 개척해 온 위상수학은 이제 수학의 최고봉의 하나로서 위치를 확립했다. 이 정상을 정복했다고 생각한 수학자들은 보다 놓은 산봉우리를 구름 사이에서 보았다. 그것이 카타스트로피 이론이다. 위상수학이 종래의 수학이 감히 대상으로 삼지 못했던 것들을 다루면서 수학의 세계를 누벼온 것은 사실이지만 여전히 연속성을 주된 대상으로 삼았다. 그러나 이제 연속성조차도 뛰어넘어 비연속성에 도전하는 새로운 수학이 탄생하게 되었다. 자연현상이나 사회현상 중에는 갑작스러운 변화가 일어날 때가 있다 생물의 생태 변화 화학물질의 폭발, 혁명, 의식의 문제 등에는 흔히 이러한 현상이 내포되어 있다. 그러나 수학자는 상상조차 못했었다.

미적분학에서 비롯되었던 해석학은 한마디로 말해서 연속적인 운동을 설명하기 위한 방법으로 발달할 것이다.

그러나 비연속적인 현상에서도 하나의 규칙성이 있다는 것을 알게 되면서 인간의 지적 욕구는 그 변화의 법칙을 확인하기 위해 힘쓰게 되었다.

비연속성의 연구는 위상기하학과 깊은 연관이 있으며 그것과 미분방정식의 연구가 서로 얽혀 발전하면서 수학의 전 분야를 하나로 통합하였다. 연속적인 변화만을 눈여겨 온 인간이 비연속적인 운동과 변화에 대해서 새삼 눈을 돌리자 연속적인 변화와 비연속적 변화를 아울러 연구하는 수학이 등장하였다.

(2) 카타스트로피 이론의 대상

세포 분열의 단계에서 보면 어느 정도 성장한 후에 세포는 2개의 서로 다른 세포로 분열한다. 불연속이 변화가 여기에서 일어난다. 또 풍선을 계속불면 어느 시기에는 풍선이 터져 버린다.  이와 같은 불연속적인 변화에 대한 모든 연구가 그 대상이다.

(3) 카타스트로피 이론과 미래의 학문

소설 <전쟁과 평화>에서 톨스토이는 어떤 시대의 어떤 정권 아래에서도  정치는 국민의 여론을 인식한다. 즉, 여론의 변화와 정책의 결정 사이에는 어떤 함수 관계가 성립한다는 것을 알 수 있다. 이것을 식으로 나타내면,

정책 = f (여론)

과 같이 된다.

이것을 경제문제에 적용시키면, 최대의 이익을 최소의 비용으로 얻고자 원하는 행동이라고 할 수 있다. 또, 수학적으로 나타내면 어떤 함수 P는 일정한 패턴으로 정해져 있고 그 때 일어나는 상태가 P를 최대로 하는 상황이며 이 상황에서는 카타스트로피적 점프(비약)와 발산성이라는 두 가지 특수한 현상이 일어날 수 있는 것이다.

실제로 파국 이론은 이러한 상황을 수학적으로 정확히 파악하려는 이론이다. 생물학, 심리학, 사회학, 정치학, 경제학 등의 과학은 종래는 이른바 기술적인 것이었으며, 이론적 체계를 세울 수 없는 것으로 생각되어 왔다. 그 이유중 하나는 그러한 상황을 다루는 수학적인 수단이 마련되어 있지 않았기 때문이었다. 그러나 앞으로 카타스트로피 이론은 이런 분야의 과학을 비약적으로 발전시킬 것으로 기대된다.

3. 프랙탈과 카오스

(1) 프랙탈 기하학

좌표축을 하나씩 추가하면서 1차원, 2차원, 3차원,.... , n 차원 등으로 단순하고 순박하게 확대되어 가던 우리의 공간과 차원에 대한 개념에 큰 반성을 가져온 새로운 기하학이 20세기에 탄생하였다.

뉴턴 역학이 천체운동의 계산에 사용된 것처럼 지금까지 수학에서 다루던 것은 주로 운동체가 그리는 부드러운 곡선 , 또는 곡면이었다. 이들 곡선은 어느 곳에서나 미분 가능한 것들이다. 그것은 이들 곡선을 충분히 확대해보면 직선처럼 평탄해진다는 뜻이다.

와이어슈트라스는 1872년에 연속이면서도 어느점에서나 미분 할 수 없는 연속곡선을 만들어냈다.

이것 외에도 이상한 도형의 성질이 발견되었다. 곧 보통의 도형, 이를테면 원, 다각형 등 유한의 도형의 둘레는 항상 유한이다. 이런 상식과는 딴판으로 스웨덴의 수학자 코흐는 유한의 넓이를 둘러싸는 무한대의 길이를 갖는 곡선을 꾸며낸 것이다. '눈송이 곡선'으로 불리우는 이 곡선은 정삼각형에서 출발해서 각변의 중앙 부분의 바깥쪽에 삼분의 일 크기의 정삼각형을 무한히 세워 가면서 얻는 도형이다. 이것 역시 와이어슈트라스의 곡선과 같이 연속적이면서 어느 점에서도 미분 불가능 , 즉 매끄럽지 않는 곡선이며 따라서 어디서나 접선을 그을 수가 없다.

당시 수학자들의 관심은 미분 가능한 함수만을 대상으로 하고 있었다. 되도록 이면 이런 상식과 동떨어진 기묘한 곡선에 대해서는 감히 가까이 하지 않았다. 이러한 곡선은 아무리 연구해보았자 현실과는 무관한 것이며 더구나 무한히 반복되는 곡선을 쫓아갈 수 없는 노릇이다. 그러니 결국 아무런 소득을 건질 수 없을 것이라고 치부해 버렸던 것이다. 그러나 세상은 바뀌었다. 세상은 이러한 곡선의 해석을 요구하고 있으며 그 수단도 마련되었다. 분명히 쿤이 말하는 패러다임의 전환이 일기 시작했다. 새로운 수학의 등장을 알리는 조짐이 확실히 나타난 것이다. 만델브로의 프랙탈 기하학도 그 중 하나이다. 이제까지의 기하학이 자와 컴퍼스로 그리는 단순하고 매끈한 인공의 기하학이었다면 이 새로운 기하학은 그야말로 자연스런 자연의 모습을 그대로 묘사하고 해석하는 자연의 기하학이다. 자연의 모습은 불규칙하고 아무렇게나 깨지고 흩어진 모습이다. 이러한 모습은 우연과 필연이 교묘하게 뒤섞이고 서로의 상승작용으로 이루어지는 것이다. 따라서 이러한 모습을 그리는 데는 자와 컴퍼스로는 도저히 나타낼 수 없다. 이런 단순 반복적인 작업에는 컴퓨터가 제격이다. 즉 이 프랙탈 기하학을 전개하는 데는 컴퓨터가 필수도구라는 것이다. 아무리 뛰어난 천재인 만델브로도 컴퓨터가 없었다면 그의 새로운 기하학은 결코 빛을 보지 못했을 것이다. 그의 머리속에 있는 프랙탈한 이미지를 보통 사람들에게 보여줄 수 있는 방법은 컴퓨터 그래픽뿐이기 때문이다.

(2) 컴퓨터와 카오스의 등장

카오스(chaos)는 얼핏 무질서(disorder)와 비슷한 개념이지만, 질서와 무질서는 서로 대립적인 개념으로 상대적인 존재인데, 카오스는 스스로 존재하는 독립적인 존재이다. 과거에는 질서란 이해할 수 있는 것이고, 우리 인간의 편이었다. 그러나 무질서는 이해 할 수 없고, 경우에 따라서는 매우 위험한 상태이기도 하다. 그러나 20세기에 들어와 자연현상의 무질서를 컴퓨터로 분석할 수 있게 되면서 질서와 무질서는 매우 긴밀한 관계가 있다는 것을 우리에게 암시하고 있다. 무질서한 현상 속에는 한가닥의 질서가 숨어 있고, 더구나 그 질서에 의해 혼돈이 초래되었다는 것이다. 이제 무질서하고 복잡한 현상을 단순히 잡음(雜音)의 하나라고 무시하지 않고 적극적으로 그 배경에 있는 질서를 찾게 된다.

더구나 카오스 연구의 방법론은 그 전의 전통적인 방법과 본질적으로 다르다. 카오스가 주목을 받게 된 계기는 컴퓨터의 역할이 중요했다. 컴퓨터는 새로운 패러다임을 형성하는 촉매의 역할을 했다. 컴퓨터를 통해 이제까지의 과학의 한계를 극복할 수 있는 새로운 방법론이 등장한 것이다. 프랙탈 기하학과 카오스 이론은 앞으로 계속 발달하여 우리에게 새로운 미래상을 제시할 것이다.

4. 수학사의 방법론

패러다임과 범패러다임

과학사가(科學史家) 쿤(Thomas Samuel Kuhn, 1922-1996)은 <과학혁명의 구조>라는 책에서 과학은 본질적으로 혁명을 통해 비연속적으로 발전해 간다고 주장하였다. 그는 여기서 어느 시대의 과학에서 가장 중요하고 기본적인 구실을 하는 개념들 또는 연구의 방법론 등을 통틀어 패러다임(paradigm)이라고 불렀다. 그리고, 기존의 패러다임이 새로 등장하는 개념에 의해 붕괴되면, 그 개념을 중심으로 다시 새로운 패러다임이 형성되는 비연속적인 발달의 양상이 보인다고 하였다. 이른바 구조주의라는 새로운 패러다임이 형성된 것이다. 그러나 이 패러다임은 곧 도전을 받게 된다. 새로운 도전자는 프랙탈 기하학이다.

서양과학사는 패러다임이론으로 매우 적절하게 그 발전 구조를 분석할 수 있다.

지금까지의 서양 과학사는 거시적으로 본다면, 오리엔트 수학, 그리스 수학, 중세 유럽, 16세기 이탈리아, 17세기 영국, 18세기 프랑스, 19세기 독일, 현대의 수학 등으로 생각 할 수 있고, 각각의 패러다임은 다른 패러다임과 구별할 수 있는 뚜렷한 특징을 가지고 있다.

<중국의 과학과 문명>의 저자 죠셉 니담( J. Needham ) 은 적정이론을 통해 동서의 두 문명이 왜 중세까지는 중국이 유럽보다 문명이 뛰어났으며, 그 후에는 왜 유럽보다 뒤 처지게 되었는지를 규명하려 하고 있다. 고대 이후 중국을 지탱해온 전통에는 과학 발전관이 결여되어 있다. 전통사회에 있어서 일정시기에 형성된 여러 문화의 뿌리에는 반드시 공통적인 요인이 있다. 즉, 민족원형과 시대적 요청이다. 이들 두 개의 요인이 상승 작용을 하여 문화의 여러 부분에 공통되는 가치관, 지배 원리 등에 의해 추진되는 문화활동이 형성된다. 이것을 각 시대마다의 '범패러다임'이라고 한다.

마지막으로 지금 우리가 공부하는 수학은 유럽 문화의 전통을 배경으로 한 과학 사상의 산물이라는 것을 잊어서는 안 된다.

최근 수학사(數學史)가 중요시되고 널리 연구되기 시작하고 있다. 월더는 그의 저서 <수학기초론 서설>에서 수학을 다음과 같이 말하고 있다.

"요컨데 수학이란 우리가 만든 그대로인 것이다. 그렇다고 해서 우리의 문화속에서 수학을 구성하고 있는 요소들을 충분히 고려하지 않고, 각자가 제멋대로 만든 것은 아니다. 과거의 이론을 바탕으로 해서 새 이론을 세우고, 또 현재의 수학 발전을 위해 기치가 있다고 일반적으로 인정되는 미해결의 문제를 해결함으로써 이루어 가는 것이다. 수학은 우리가 만들기 이전에 존재하지 않는다. 또 만들어진 다음에도 언젠가는 수학(數學)이 아닌 것으로 전락할지도 모른다.