저널리즘&미디어문헌

컴퓨테이셔널 공간으로서 머신러닝의 부상

[파스퀴넬리 논문 번역] 기계학습의 모든 시스템은 이러한 의미에서 고대 ars combinatoria 전통의 일부

이성규 2019년 06월 25일

파스퀴넬리의 논문 : 3000 Years of Algorithmic Rituals: The Emergence of AI from the Computation of Space

컴퓨테이셔널 공간으로서 머신러닝의 부상

image 로젠블라트의 퍼셉트론 프로토타입, https://readymag.com/fabernovel/brief-history-ai/mark-i-perceptron/

1957년 뉴욕주 버팔로에 있는 코넬 항공 연구소에서 인지 과학자 프랭크 로젠블라트는 군사기밀로 분류된 당시 기계학습의 모든 매트릭스의 할머니인 퍼셉트론, 작동하는 첫 번째 인공뉴럴네트워크를 발명하여 만들었다.1  퍼셉트론(Perceptron)의 첫 번째 시제품은 전선을 통해 하나의 출력(전구 켜기 또는 끄기)으로 분해되는 인공뉴런층에 연결된 20x20 광전지("레티나")의 입력 장치로 구성된 아날로그 컴퓨터였다. 퍼셉트론의 "레티나"는 문자나 삼각형 같은 단순한 모양을 기록하고 임계 논리(threshold logic)에 따라 결과를 계산하는 다수의 뉴런에 전기 신호를 전달하였다. 퍼셉트론은 특정한 모양을 인식하도록, 즉 오차범위를 가지고 결정을 내리는 것("지능" 기계로 만드는 것)의 가르침을 받을 수 있는 일종의 사진 카메라였다. 퍼셉트론은 첫 번째 기계학습 알고리즘으로, 패턴이 특정 클래스에 속하는지 아닌지를 판단할 수 있는 기본적인 이진 분류기였다(입력 이미지가 삼각형인지 아닌지, 정사각형인지 아닌지 등). 이를 달성하기 위해, 퍼셉트론은 큰 숫자 입력값(400 숫자의 공간 매트릭스)을 단순한 이진 출력값(0 또는 1)으로 분해하기 위해 노드의 값을 점진적으로 조정했다. 퍼셉트론은 입력 이미지가 특정 클래스(예를 들어 삼각형) 내에서 인식되는 경우 결과 1을 제공했다. 그렇지 않으면 결과 0을 제공했다.처음에 인간 운영자는 기계가 이러한 감독된 연관성에 기초해 미래에 정확하게 유사한 모양을 인식하기를 바라면서 정확한 답을 내놓도록(수동으로 출력 노드 0 또는 1로 전환) 퍼셉트론을 훈련시킬 필요가 있었다. 퍼셉트론은 특정 패턴을 암기하는 것이 아니라 잠재적으로 어떤 패턴을 인지하는 방법을 배우도록 설계되었다.

제1차 퍼셉트론의 20x20 광수용체(photoreceptor)의 매트릭스는 21세기 초 딥러닝과 함께 헤게모니적 패러다임이 된 계산에 있어서 '무언의 혁명'의 시작이었다. 생물학적인 뉴런에 의해, 완전히 논리적인 관점에서 영감을 받았음에도 불구하고, 퍼셉트론은 생체모형적인 것이 아닌, 계산(computation)에서 위상학적 전회를 표시했는데, 이것이 바로 계산 공간(computational space)이나 자가-컴퓨팅 공간(self-computation space) 패러다임의 부상이다. 이 전회(turn)는 그때까지 선형 차원(linear dimension)을 유지하는 계산 패러다임에 두 번째 공간적 차원을 도입했다(선형 메모리 테이프를 따라 0과 1을 읽고 쓰는 튜링 머신 참조). 이러한 위상학적 전환, 그것이 오늘날 사람들이 "AI"라고 인식하는 것의 핵심인 이 위상학적 전회는 수동적인 정보의 패러다임에서 능동적인 정보의 패러다임으로의 통로로 보다 겸손하게 표현될 수 있다. 하향식 알고리즘에 의해 처리되는 시각적 매트릭스(요즘 컴퓨터 그래픽을 위해 소프트웨어가 편집한 이미지처럼)보다는 시각적 매트릭스의 픽셀이 그들의 공간적 성향에 따른 상향식 계산 규칙을 지시한다. 시각 데이터 자체는 공간 관계에 따라 계산 알고리즘을 형성하기 시작한다.

image 폰 노이만의 세포 자동자

공간논리 때문에 원래 신경망에 전념했던 컴퓨터 과학의 분과를 (은인이 아닌) 전산 기하학이라고 불렀다. 컴퓨팅 공간이나 자기-컴퓨팅 공간의 패러다임은 2차세계대전(WWII) 이후 사이버네트워크학의 중심에 있었던 존 폰 노이만의 세포 자동자(Cellular Automata, 1948년), 콘라드 주스의 Rechenender Raum(1967년)2와 같은 자기조직 원리에 관한 연구에 공통적인 뿌리를 공유하고 있다. 폰 노이만의 세포 자동자는 격자 위에 소세포(small cell)로 인식되는 픽셀 클러스터다. 그 세포들은 이웃 세포에 따라 상태를 바꾸고 움직이는 것으로, 진화하는 생명체의 형태와 닮은 기하학적 형상을 구성한다. 세포 자동자(Cellular Automata)는 (생명체의) 진화를 시뮬레이션하고 생물학적 시스템의 복잡성을 연구하기 위해 사용되어 왔지만, 그것들은 제한된 우주에 국한된 유한한 상태 알고리즘으로 남아 있다. 콘라드 주스(Konrad Zuse, 1938년 베를린에서 최초로 프로그래밍 가능한 컴퓨터를 만든 사람)는 세포 자동자의 논리를 물리학과 우주 전체로 확장하려고 시도했다. 그의 아이디어인 레첸더 라움(Rechnender Raum), 즉 공간을 계산한다는 생각은 이웃 유닛의 행동에 따라 행동하는 이산 단위로 구성된 우주다. 앨런 튜링의 마지막 에세이 "모생학의 기초"(1952년, 그가 죽기 2년 전 출판)도 자가-컴퓨팅 구조의 전통에 속한다.3 튜링은 생물학적 시스템의 분자를 히드라(Hydra) 내 촉수 패턴, 식물 내 윤생기, 동물 피부에서의 덧칠, 배아에서의 위 절제 등 복잡한 상향식 구조를 설명할 수 있는 자가-컴퓨팅 행위자로 간주했다.4

폰 노이만의 세포 자동자와 주스의 컴퓨터 공간은 직관적으로 공간적 모델로 이해하기 쉬운 반면, 로젠블라트의 신경망은 더 많은 주의를 요하는 보다 복잡한 위상을 보여준다. 실제로 신경망은 가장 복잡한 조합 구조를 채택하고 있는데, 이것이 아마도 그들을 가장 효율적인 기계학습 알고리즘으로 만드는 이유일 것이다. 신경망은 "모든 문제를 해결한다"고들 하는데, 이는 보편적 근사 정리(Universal Approximation theorem, 충분한 층의 뉴런과 컴퓨팅 자원이 주어진다면)에 따른 어떤 패턴의 기능도 근사값을 계산할 수 있다는 것을 의미한다. 서포트 벡터 머신(SVM), 마르코프 체인스, 홉필드 네트워크, 볼츠만 머신, 콘볼루션 뉴럴 네트워크를 포함한 기계학습의 모든 시스템은 이러한 의미에서 고대의 아르스 조합(ars combinatoria) 전통의 일부로서 컴퓨터 기하학의 모델로 시작되었다.5


  1. Frank Rosenblatt, “The Perceptron a Perceiving and Recognizing Automaton”, Technical Report 85-460-1, Buffalo:Cornell Aeronautical Laboratory, 1957. 

  2. John von Neumann and Arthur W. Burks, Theory of Self-Reproducing Automata. Urbana, University of Illinois Press: 1966.Konrad Zuse. “Rechnender Raum”. In: Elektronische Datenverarbeitung, vol. 8, 1967. As book: Rechnender Raum, FriedrichVieweg & Sohn: Braunschweig, 1969. Translated as: Calculating Space, Cambridge, MA: MIT Technical Translation, 1970. 

  3. Alan Turing, “The Chemical Basis of Morphogenesis”, Philosophical Transactions of the Royal Society B. 237 (641), 1952. 

  4. 마빈 민스키와 세이무어 파퍼트의 1969년 저서 '수용체'(표면적으로 신경망의 사상을 공격하고 그럼에도 불구하고 신경망에 대한 모든 연구자금을 중단시킴으로써 소위 최초의 'AI의 겨울'을 초래했다)가 "계산 기하학의 도입"을 제공한다고 주장했다는 점에 주목해야 한다. 마빈 민스키와 시모어 파퍼트, 지각론: 컴퓨터 지오메트리 소개. 케임브리지, MA: MIT 프레스, 1969. 

  5. 12세기 카탈로니아 수도승 라몽 룰과 그의 회전하는 바퀴를 보라. 아르스 조합(ars combinatoria)에서 계산의 요소는 시스템 외부의 지침에 따라가 아니라 다른 요소와의 관계에 따라 논리적인 지시를 따른다. See also: Amador Vega and Siegfried Zielinski, DIA-LOGOS: Ramon Llull's Method of Thought and Artistic Practice, Minnesota Press: 2018.