『괴델, 에셔, 바흐』 - 김영정

『괴델, 에셔, 바흐』(GÖDEL, ESCHER, BACH: an Eternal Golden Braid)

- 더글라스 호프스태터(Douglas R. Hofstadter)

김영정(서울대 철학과)

  인간이 예로부터 가지고 있던 가장 큰 지적 호기심 중 하나는 우리 인간 자신에 관한 것이다. 자아(self)란 무엇일까? 인간의 마음은 물질일까 아니면 물질이 아닌 어떤 것일까? 인간과 동일한 수준의 지능을 우리의 손으로 만들어낼 수 있을까? 근자에 이르기까지 이러한 질문들은 형이상학이란 이름 하에서 사변적으로 고찰되어왔다. 그러나 과학기술의 발달과 컴퓨터의 출현은 이런 문제를 보다 구체적으로 궁구할 수 있는 계기를 마련하여 주었다.

  예컨대 이제 질문은 다음과 같은 방식으로 진행된다. 컴퓨터 프로그램을 통해 우리 인간의 지능 수준을 재현하려는 인공지능이 가능할까? 아니면 이것은 원리적으로 불가능한 일일까? 인간의 의식은 뉴런과 같은 물질만으로부터 발현될 수 있을까? 발현된다고 한다면, 의식의 작동방식이 어떻게 뉴런의 작동 방식에 의해 설명될 수 있을까? 의식의 작동방식은 뉴런의 작동 방식과는 전혀 달라 보이지 않는가?

  호프스태터의 명저 『괴델, 에셔, 바흐』는 바로 이러한 의식의 문제와 인공지능의 가능성 문제를 다루고 있는 책이다. 이 책은 ‘자아(self)’가 진정으로 무엇을 의미하는지를 발견하고자 시도하고 있다. 인지과학자인 저자는 이러한 일련의 문제들에 대한 답을 괴델의 수리논리학적 정리와 에셔와 바흐의 예술 작품으로부터 찾아낸다. 극과 극은 만나는 것일까? 수리논리학과 예술은 얼핏 보기에 서로 반대 방향을 향해 치닫는 상이한 영역들에 속하는 것처럼 느껴진다. 수렴과 발산은 서로 상반된 개념으로, 수리논리학은 바로 수렴적 작업 영역의 최고봉이요, 예술은 바로 발산적 작업 영역의 최고봉인 것이다. 저자는 이 극과 극의 영역에서 어떤 공통점을 발견하고, 그것이 바로 자아의 진정한 모습이라고 천명한다.

  괴델의 정리, 에셔의 그림, 바흐의 음악의 공통점은 이들 모두가 다층구조를 이루고 있으며, 이 층들은 일종의 ‘이상한 고리’처럼 서로 엉켜있다는 것이다. 즉, 최상 층위는 최하 층위에 의하여 규정되고 다시금 최상 층위가 최하 층위로 소급되어 영향을 미치면서, 층위들 사이에 서로 상호작용을 한다는 것이다. 이 엉킨 고리는 본래적으로 그 자체 속에 역설적 측면을 내포하고 있다는 점에서 일종의 이상한 고리이다. 에셔와 바흐의 작품은 이 ‘이상한 고리’에 대한 매우 특출한 예시이다. ‘손을 그리는 손’ 등 시작과 끝이 사라진 상태로 끝없이 반복되는 에셔의 그림들이 그렇고, 반복하면서 제자리로 돌아오는 바흐의 ‘무한히 상승하는 캐논’이 그렇다. 바흐의 캐논 ‘음악의 헌정’은 무한히 상승하는 순환 고리를 가지고 있어, 마치 끝나는 것처럼 보이는 종지부는 다시금 새로운 시작을 알리는 도입부로 연결된다. 저자는 역설적 측면을 내포하고 있는 이러한 다층구조의 엉킴 자체가 바로 자아의 진정한 모습이며, 이 다층구조 속에 엉켜있는 이상한 고리가 뉴런들의 밀림으로부터 어떻게 의식이 창발하는가를 시각적으로 보여주고 있다고 제시한다.

  저자는 이 이상한 고리의 역설적인 모습을 괴델의 불완전성 정리에서 더욱 또렷하게 인지하고, 이 책의 상당 분량을 할애하여 괴델 정리를 천착해 들어간다. 괴델 정리에는 ‘자기 지시(self-reference)’의 개념이 중심부에 자리 잡고 있으며, 이 자기 지시가 바로 다층구조의 엉킴의 출발점이자 역설의 원천인 것이다. 지시란 본래적으로 언어(낮은 층위)와 대상(높은 층위) 간의 관계로 층위들 사이의 위계적 관계이다. 그런데 자기 지시의 경우는 높은 층위인 지시체의 자리에 그에 걸맞은 높은 층위의 대상이 아니라 낮은 층위의 언어(자기 자신)가 할당됨으로써 층위들 사이의 위계적 관계가 파괴되고 엉킴이 발생하는 것이다. 층위들 사이의 엉킴으로 인해 역설을 일으키는 자기 지시의 간단한 예는 다음과 같다: “이 문장은 거짓이다.” 이 문장이 참도 아니고 거짓도 아닌 역설적 문장인 이유는 “이 문장이 참이라면, (거짓이라고 주장하고 있는 문장이 실제로는 참이므로) 거짓이 되고, 이 문장이 거짓이라면, (거짓이라고 주장하고 있는 문장이 실제로도 거짓이므로) 참이 되기 때문이다.”

  여러 수학적 개념들을 재미있는 방식으로 적절히 다룸으로써 호프스태터는 서서히 독자들에게 형식 체계, 처치-튜링 입론, 튜링의 멈춤 문제, 괴델의 불완전성 정리와 같은 보다 수준 높은 수리논리학적 개념들을 도입해 나간다. 궁극적으로는 괴델 정리 속에서 이상한 고리 형태의 다층구조의 엉킴을 끌어낸다. 다층구조의 엉킴을 유발하는 것은 괴델 문장 G(“이 문장은 증명 불가능하다”)로, 이 G는 “스스로가 참이면 증명 불가능하며 스스로가 거짓이면 증명 가능하다”는 자신의 증명 불가능성을 주장하는 자기 지시 문장이다. 이로 인해 높은 층위에서는 괴델 문장 G가 참이라는 것을 알지라도, 낮은 층위에서는 증명과정을 아무리 강화하여도 G를 증명하지 못한다. 자기 지시로 인해 높은 층위와 낮은 층위는 엉켜 서로 영향을 주고받지만, 바로 그 자기 지시 때문에 높은 층위와 낮은 층위 사이에는 어떤 괴리(참임을 알지만 증명하지는 못함)가 존재하게 되는 것이다. 결국 괴델의 정리는 의식은 본래적으로 높은 층위의 현상으로서 낮은 층위인 뉴런들의 밀림으로부터 창발하기는 하지만(창발론), 높은 층위의 의식은 낮은 층위의 생리학적 개념들만을 사용해서는 설명되지 않는다(총체론)는 것을 유추적으로 보여준다. 호프스태터에 따르면, 의식과 같은 창발적 현상들은 정신/두뇌체계 안에 있는 상이한 층위들 사이의 관계에 의해서 설명될 수 있는 것이다.

  저자는 이와 같은 다층구조의 모습을 마음을 흉내 내는 기호 조작 방식의 컴퓨터에도 적용하여, 인공지능의 가능성을 옹호한다. 괴델 정리가 인공지능의 가능성을 제약하는 경우는 컴퓨터가 오로지 하나의 낮은 하드웨어 층위만을 가지고 있고, 그 낮은 층위의 컴퓨터가 기호 조작을 통해 증명하지는 못하지만 참인 명제(즉, 낮은 층위의 컴퓨터 밖에서 인간은 참임을 아는 명제)가 있을 때인데, 컴퓨터에는 기호를 조작하는 낮은 층위만 있는 것이 아니라 높은 층위도 있으므로 괴델 정리가 인공지능의 가능성을 제약하지 않는다는 것이다.

  『괴델, 에셔, 바흐』는 20개 장마다 앞부분에 대화가 삽입되어 있다. 그 대화에는 아킬레스와 거북이 그리고 그 친구들이 등장하여, 바로 뒤에 나오는 장 속에서 저자가 검토하게 될 다양한 측면들을 논의한다. 그 대화들을 쓰면서, 호프스태터는 완전히 새로운 형태의 예술을 창조한다. 개념들은 대화를 통해 형식과 내용이라는 두 개의 다른 수준에서 동시에 제시된다. 내용의 수준에서는 여러 등장인물들이 그들의 견해를 때때로 올바르게 종종 그르게 그렇지만 항상 흥미롭게 제공함으로써 각 아이디어들을 직접적으로 보다 분명하게 제시한다. 그러나 진정한 즐거움은 바로 그 동일한 아이디어들이 대화의 물리적 형식 속에 어떻게 엮여 있는가 하는 방식을 발견하는데 놓여있다. 형식은 등장인물들이 논의하는 동일한 수리논리학적 개념들을 반영하며, 등장인물들이 그들의 이야기 속에서 직접 언급한 바흐의 음악 작품들과 에셔의 미술 작품들을 독자들에게 떠올리게 한다.

  저자 더글러스 호프스태터(Douglas Hofstadter)는 1945년 뉴욕 출생으로, 1961년 노벨 물리학상을 수상한 아버지 로버트 호프스태터의 학문적 자질을 이어받아 일찍이 과학자의 길로 접어들었다. 1965년에 스탠포드 대학교를 졸업했고 1975년에는 오레곤 대학교에서 물리학 박사학위를 받았다. 현재 인디애나 대학교 인지과학 및 컴퓨터과학과 교수로 재직하고 있으며, 동대학에서 과학철학, 철학, 비교문학, 심리학 겸임교수로도 활동하고 있다. 이 책은 1979년 Basic Books 출판사에 의해 뉴욕에서 출간되었으며, 출간 직후 화제가 돼 이듬해 논픽션 부문 퓰리처상을 수상하기도 했다. 호프스태터의 또 다른 책으로는 Daniel C. Dennett과 함께 편집한 The Mind's I: Fantasies and Reflections on Self and Soul, (NY: Basic Books, 1981)과 단독 저서인 Metamagical Themas: Questing for the Essence of Mind and Pattern (NY: Basic Books, 1985) 등 다수가 있다.

  이 저서가 전문가들만이 아닌 일반 대중을 염두에 두고 출간된 것이긴 하나, 단편소설을 읽듯이 술술 읽어 내려갈 수 있는 책은 아니다. 번역서가 까치 출판사에서 『괴델, 에셔, 바흐: 영원한 황금 노끈』(박여성 옮김)으로 나와 있으나, 이 책을 읽기로 마음을 먹은 학생들은 원서를 직접 읽도록 권한다. 수리논리학적 논의는 그 학문 성격상 약간의 오역만으로도 그 내용을 이해하는데 엄청난 어려움을 가져다주므로, 번역서를 봐야 하는 학생들은 꼭 원서와 대조해가면서 보기를 권한다.

  우리말로 된 참고문헌으로는 『언어․논리․존재』(김영정지음, 철학과현실사) “제11장 타르스키 정리, 처치 정리 그리고 괴델 정리”, 『심리철학과 인지과학』(김영정지음, 철학과현실사) “제4장 컴퓨터―번역․비평․창작 기계로서의 가능성”, 『인지과학』(제6권 3호, 1995, 한국인지과학회)에 실린 “튜링 기계로서의 마음과 괴델의 정리”(선우환, 5-24쪽), 그리고『계산가능성과 논리』(G. 불로스, R. 제프리 지음, 김영정외 옮김, 문예출판사) 등이 있다.