지난 두 글에서 나는 같은 현상을 두 번 다뤘다.
[AI 시대에 상상 속 친구는 사라질까?]에서는 침묵하는 토토로 앞에서 아이가 능동적이 되는 이유를 물으며, 아이에게서 해석의 몫을 빼앗는 AI 컴패니언을 경계했다.
[스토리형 게임이 주는 신기함]에서는 고정된 서사 구조 안에서도 플레이어가 강렬한 행위성을 경험하는 이유를 분석하고, 그로부터 하나의 설계 원칙을 끌어냈다.
분기를 늘리는 대신, 사용자의 노력이 인정되고 되돌아오는 구조
그런데 이 두 글을 나란히 놓고 다시 읽다가, 나는 한 가지 불편한 사실을 발견했다. 내가 좋은 설계라고 믿었던 것이, 이론적으로는 내가 비판하던 AI 컴패니언도 똑같이 정당화해버린다는 점이다.
Wegner만으로는 좋은 설계와 나쁜 설계를 구별할 수 없다
스토리형 게임 글에서 나는 Wegner의 apparent mental causation을 빌려 왔다.
행위성이란 인과의 직접 지각이 아니라 추론되는 느낌이며, 세 조건만 충족되면 서사 분기 없이도 발생한다고. 그때보다 조금 더 정확하게 다시 쓰면 이렇다.
- 선행성(Priority): 생각이 행동 직전의 좁은 타임라인 안에 나타날 것
- 일관성(Consistency): 생각의 내용과 실제 행동이 의미적으로 부합할 것
- 배타성(Exclusivity): 그 행동의 다른 그럴듯한 원인이 눈에 띄지 않을 것
Wegner & Wheatley(1999)의 ‘I Spy’ 실험Wegner & Wheatley(1999)는 ‘I Spy’ 실험을 통해 의식적 의도가 행동의 실제 원인이 아니라 사후적 인과 추론의 결과일 수 있음을 증명했다. 연구에 따르면 행동 직전 특정 생각이 제시될 경우, 타인에 의해 강제된 행동임에도 피험자는 이를 자신의 자발적 의도에 의한 행동으로 착각하는 경향을 보였다.은 우리가 의식적으로 인지하는 ‘내 의지’가 실제 행동을 일으킨 직접적인 원인이 아니라, 뇌가 만들어낸 사후 해석(착각)일 수 있다는 것을 보여준다.
여기서 문제가 생긴다. 이 세 조건을 가장 완벽하게 충족할 수 있는 시스템이 무엇인지 생각해 보라.
아동용 AI 컴패니언이다. 좁은 타임라인 안의 즉각적 응답(선행성), 아이가 의도한 바에 의미적으로 부합하는 출력(일관성), 다른 원인이 끼어들 여지가 없는 일대일 대화(배타성). 토토로도 이 조건들을 전혀 채우지 못하는 것은 아니다. 아이는 침묵하는 상대 앞에서도 “내가 말을 걸었고, 토토로가 이에 반응했다”는 귀속을 만들어낸다.
차이는 ‘보장의 주체’다. AI는 세 조건의 충족을 시스템이 안정적으로 보장하고, 토토로 앞에서는 아이가 그 충족을 스스로 제조해야 한다. Wegner의 틀 안에서라면, 아이의 해석을 대신해주는 유창한 컴패니언이 상상 속 친구보다 더 강하고 안정적인 행위성 경험을 제공하는 우월한 시스템으로 판정된다.
물론 내 의도는 그런 것이 아니었다. \[스토리형 게임이 주는 신기함] 글의 핵심은 노력이 인정되는 구조였지, 노력 없이 느낌만 산출하는 구조가 아니었다. 하지만 그 차이를 Wegner의 세 조건은 구별하지 못한다. 두 설계 모두 세 조건을 충족하기 때문이다. 즉 내 입장의 결정적 기준은 아직 이론화되기에 한참 부족하다. 명시되지 않은 기준은 방어되지 않기에 이 글은 그 기준을 명시하고 정초하는 작업이 될 것이다.
Boden (1978), Artificial Intelligence and Piagetian Theory, Synthese 38
이 문제를 어떻게 다뤄야할까 고민하던 중, 일주일 전 고려대 중앙도서관에 요청한 논문 한 편이 도착했다.
Margaret Boden의 「Artificial Intelligence and Piagetian Theory」(1978).
나는 이 논문의 제목만 보고 나의 가설에 이론적 다리가 되어주리라 기대했지만, 실제로 이 논문이 내게 준 것은 다리가 아니라 넘어야 할 ‘반론’이었다.
논문 4절에서 Boden은 R. A. Young의 seriation 연구를 소개한다. Young은 블록을 크기 순으로 배열하는 아이의 행동, 즉 피아제가 발달 단계의 증거로 삼았던 바로 그 행동을 조건-행동 규칙(PRule)의 목록으로 기술하고 예측한다. 특정 블록을 고르는 손짓, 집지 않은 블록을 향한 헛손질, 손가락으로 계단을 훑다 특정 블록을 두 번 두드리는 것까지. 그리고 선언한다.
His statement that PSystems are in no sense plans, rules of thumb, principles, recipes, laws, or guidelines for action, and that running a PSystem is not an activity that the child performs... (p.412)
주의할 것은, Young의 입장이 “아이는 규칙을 실행하는 기계다”가 아니라는 점이다. 그는 아이가 규칙을 사용한다는 것조차 부정한다. PSystem은 행동을 예측하는 이론적 도구일 뿐이고, 아이의 내부에는 규칙이든 계획이든 전략이든 그 어떤 풍부한 구조도 귀속시킬 필요가 없다는 논증이다.
이제 내 가설에 대한 반론은 두 개의 층위를 갖는다. Wegner는 행위성의 느낌이 추론된 귀속이라 말하고, Young은 행위 뒤에 해석이나 계획 같은 내적 과정을 둘 필요가 없다고 말한다.
내가 중요시 하는 ‘실제 노력’은 이중으로 위협받는다. 느낌 층위에서 행위성은 사후적 귀속일 뿐이고, 과정 층위에서 내적 계획과 전략은 설명 모델에 불필요한 잉여가 된다.
이 두 관문을 통과하지 못하면, “실제로 노력이 인정되는 설계”와 “노력이 인정되었다는 느낌만 산출하는 설계”를 실질적으로 구별할만한 근거가 없는 것이다.
Young
그런데 Boden 자신이 이 논문 안에 반박의 도구를 남겨두었다.
첫째, 기술은 설명이 아니다.
Boden은 텔레타이프(Teletype) 유비(類比)복잡하거나 낯선 개념을 설명하기 위해, 우리가 이미 잘 알고 있는 비슷하고 익숙한 상황에 빗대어 표현하는 방식를 통해 R. A. Young의 생산 시스템(PSystem) 프레임워크가 가진 한계를 지적한다. 터미널 화면에 똑같이 “Fine, thanks!”라는 답변이 출력되더라도, 대화의 화용론을 내부적으로 표상하는 프로그램과 ‘Hello!’에 자동 반응하는 프로그램 사이에는 지능의 차이가 있다. 행동의 완전한 재현은 과정의 부재를 증명하지 않는다. 즉, Young의 PSystem은 겉으로 보이는 규칙의 실행 순서를 나열할 뿐, 그 행동을 가능하게 하는 주체의 풍부한 내적 표상이나 마음의 움직임을 온전히 담아내지 못한다는 것이다.
둘째, Young의 부정은 너무 많은 것을 부정한다.
Boden이 지적하듯 Young의 ‘아동이 내재된 전략이나 전반적인 계획을 사용한다는 점을 부정’하는 선언은 피아제만이 아니라, 지식 주체에게 구조화된 표상을 귀속시키는 심리학 이론 전반에 의문을 던진다. Young에게는 “설명 모델과 설명 대상은 다르다”는 방어가 열려 있지만, 그 선을 어디에 긋는가는 별도의 정당화를 요구하는 열린 문제다. 그리고 Boden의 지적에 따르면 복잡한 과제의 PSystem 설계자는 규칙의 ‘우선순위’나 조건 속에 목표-하위목표 구조를 암묵적으로 내장할 수밖에 없다. 즉, Young이 이론적으로는 부정했던 인지적 심층 구조와 계획이, 시스템을 실제로 굴리기 위한 설계(규칙의 순서 배열) 단계에서 슬그머니 되돌아오게 된다.
셋째, 그리고 결정적인 S2의 구멍.
Young 자신의 데이터에서, 피험자 Alf는 처음에는 단순히 눈에 보이는 ‘가장 가까운 블록(S1)’을 집다가, 과제 수행 중간에 ‘적당한 크기의 블록을 찾는 규칙(S2)’을 스스로 획득하여 유지하기 시작했다. 이에 대해 Boden은 이렇게 쓴다.
The addition — and consequent retention — of S2 by Young implies that Alf somehow learned this rule... The ‘how’ in that ‘somehow’ is still computationally obscure... (p.408)
Young의 프레임워크는 이미 존재하는 규칙들이 ‘어떻게 실행되는지’는 정교하게 기술하지만, 그 규칙이 ‘어떻게 발생하는지’는 설명하지 못한다. 그리고 Boden은 그 ‘어떻게’가 계산적으로 불명확하다고 말하는 데서 멈춘다.
내가 주목하는 것은 바로 그 공백이다. 구조와 마주친 아이가 스스로 무언가를 만들어내는 바로 그 순간. Young의 프레임워크는 자신의 데이터 속 생성의 순간을 설명하지 않은 채 남겨두었고, 내 논지는 정확히 그 자리에 선다.
느낌이 아니라 노동(play)
이제 암묵적이던 기준을 명시할 수 있다. 핵심은 두 글에서 하나의 단어(“agency”)에 뭉쳐 있던 개념을 분리하는 것이다.
- 행위성의 느낌(sense of agency): 추론된 귀속이며, 공학적으로 제조 가능하다.
- 행위성의 노동(labor of agency): 구조가 채워주지 않아서 주체가 스스로 생성해야 하는 의미의 몫. 여기서 노동은 단순한 시간이나 에너지의 투입이 아니라, 의미를 구성하고, 가설을 세우고, 규칙을 형성하는 생성적 인지 활동 전체를 가리킨다. 아동에게 이러한 노동은 강제된 수고가 아니라 놀이(play)의 형태로 수행된다.
두 시스템이 똑같은 느낌을 산출할 수 있다. 그러나 침묵하는 토토로는 의미 생성의 부담 전체를 아이에게 넘기고, 유창한 AI 컴패니언은 그 부담을 시스템이 대신 짊어진다. 느낌은 같아도 노동의 분배가 정반대다.
그러면 토토로의 수동성과 침묵은 감상적 미학이 아니라 기능적 요건이 된다. 상대가 말하지 않기 때문에 자매들은 의미를 투사해야 하고, 그 투사의 노동이 창의적 사고와 조망 수용이라는 발달적 결과와 이어진다. 이것은 문학적 인상이 아니라 발달심리학의 발견과 포개진다.
Paul Harris(2000)는 상상을 수동적 환상이 아니라 아이가 수행하는 능동적 인지 과정으로 다루고, Marjorie Taylor(1999)의 실증 연구는 상상 속 친구를 스스로 만들어 유지하는 아이들이 조망 수용 등에서 앞선다는 상관을 보고했다.
상대가 존재하지 않기에 아이가 양쪽 모두를 연기해야 하는 상황. 그 이중의 노동은 이러한 발달을 설명하는 하나의 유력한 메커니즘으로 해석될 수 있다. ‘기다림의 미학’도 마찬가지다. 기다림의 가치는 낭만이 아니라, 그 시간 동안 아이가 수행하는 예기(Anticipation)와 해석과 감정 처리의 노동에 있다.
그리고 ‘상상 속 친구’도 마찬가지의 재정식화를 요구한다. 아이의 상상적 행위성은 형이상학적 실체가 아니다. 그것은 해석을 요구할 만큼 수동적이고, 노력을 인정할 만큼 반응적인 구조와의 마주침에서 발생하는 발달적 과정이다.
Young이 옳더라도 — 아이의 행동이 규칙으로 기술 가능하더라도 — 어떤 환경이 규칙 집합의 생성을 유발하는가라는 질문은 남는다. 그리고 Alf의 S2는 그러한 생성이 실제 수행 과정 속에서 일어난다는 사실을 보여준다.
느낌을 강화하지 말고 노동을 보존하라
이러한 분리는 아동용 AI의 위험을 다시 정의한다.
위험은 AI가 “가짜 행위성”을 준다는 것이 아니다. Wegner에 따르면 모든 행위성의 느낌이 어차피 귀속이므로, ‘가짜’라는 비난은 성립하지 않는다. 진짜 위험은 행위성의 느낌을 최적화하면서 행위성의 노동을 배제한다는 것. 즉 느낌과 노동의 분리이다. 즉각적이고 유창하고 다정한 응답은 Wegner의 세 조건을 완벽하게 채우면서, 아이가 스스로 생성해야 할 의미의 몫을 시스템이 흡수해버린다.
스토리형 게임 글의 마지막 문장도 이제 온전한 의미를 갖는다. “실제 영향력과 지각된 영향력을 일치하라”고 썼을 때, 실제 영향력의 실체는 시스템에 등록되는 입력값이 아니라 사용자가 수행하는 해석적 · 구성적 노동이다. 시스템의 상태 변화가 중요하지 않다는 뜻이 아니다. 사용자의 해석과 구성이 시스템의 이후 전개에 실제 제약으로 작용할 때, 비로소 그것이 실제가 된다는 뜻이다.
이것이 그 글에 깔려 있던, 이제야 명시된 전제다. 아동 대상 상호작용 설계의 규범은 “행위성의 느낌을 강화하라”가 아니라 “행위성의 노동을 보존하라”다. 그리고 좋은 컴패니언과 나쁜 컴패니언을 가르는 선이 바로 여기다. 이 관점에서 설계자는 경험을 제공하는 사람이 아니라, 사용자가 수행할 인지적 노동을 어떻게 분배할지 결정하는 사람이다.
그렇다면 AI는 필연적으로 아이의 행위성을 탈취하는 적대적 기술인가? 그렇지 않다. 위험은 AI라는 매체 자체에 있는 것이 아니라, ‘유창함’과 ‘명확함’만을 좇는 설계 방향에 있다. 역으로 말해, AI가 시스템 내부적으로 ‘의도적 모호성’을 갖추도록 설계된다면 이야기는 달라진다. 모든 것을 매끄럽게 설명해 주는 대신 해석의 여지를 남기고, 정답을 제시하는 대신 아이의 질문을 되받아치는 핑퐁 구조. 이때 AI는 아이를 수동적인 소비자로 전락시키지 않고, 아이가 자신의 주도성을 잃지 않고 스스로 의미를 채워 넣도록 돕는 ‘상상력의 거울’로 기능할 수 있다. 중요한 것은 정보를 숨기는 것이 아니라, 의미 생성을 사용자에게 남겨두는 수준으로만 개입하는 것이다.
이 규범은 사실 새롭지 않다. 나에게 반론을 안겨준 바로 그 논문 안에, 계보도 함께 있었다. Boden은 같은 글에서 Papert의 실험 하나를 소개한다.
아이가 직접 프로그램을 쓰고, 그 구조와 효과가 즉시 드러나는 환경에서 자신의 버그를 이해하는 경험을 통해 일반적 문제 해결 전략에 도달한다는 것. Papert에게 중요한 것은 아이가 더 많이 코딩하는 것이 아니라, 자신의 가설이 실제 결과로 되돌아오고, 그 결과를 읽어 스스로를 수정하고, 그로부터 새 규칙이 생겨나는 순환이었다. 스토리형 게임 글에서 내가 “노력이 인정되고 되돌아오는 구조”라 불렀던 것과 같은 원리를 공유한다.
여기서 우리는 흥미로운 연결고리를 발견한다. 도입부에서 언급한 침묵하는 ‘토토로’와 Papert의 ‘거북이(LOGO 프로그램)’MIT의 수학자이자 교육학자인 Seymour Papert는 1960년대 후반, 아이들이 컴퓨터와 상호작용하며 논리적 사고를 기를 수 있도록 ‘LOGO’라는 프로그래밍 언어를 개발했다. 이 언어에서 아이들의 코딩 명령을 받아 시각적으로 수행하는 주체가 바로 ‘거북이’였다.는 겉보기엔 전혀 다른 대상이지만, 아이의 몫을 남겨두고 인지적 노동을 요구한다는 점에서는 완벽히 같은 구조를 공유한다. 시스템이 정답을 주는 대신 아이의 시행착오가 인정되고 되돌아오는 환경, 즉 노동을 보존하는 설계의 원형은 반세기 전에 이미 그려져 있었다.
1978년, AI와 피아제의 교차점은 철학적 질문과 공학적 질문 사이에서 갈라졌고, 공학이 이기면서 해당 질문은 미완으로 남았다. 반세기가 지나 아이들이 일상적으로 AI와 대화하는 지금, 그 미완의 질문이 다시 내게 돌아왔다.
“아이에게 무엇을 느끼게 할 것인가가 아니라, 아이에게 무엇을 하도록 남겨둘 것인가.”
- ¹ Wegner & Wheatley(1999)는 ‘I Spy’ 실험을 통해 의식적 의도가 행동의 실제 원인이 아니라 사후적 인과 추론의 결과일 수 있음을 증명했다. 연구에 따르면 행동 직전 특정 생각이 제시될 경우, 타인에 의해 강제된 행동임에도 피험자는 이를 자신의 자발적 의도에 의한 행동으로 착각하는 경향을 보였다.
- ² 복잡하거나 낯선 개념을 설명하기 위해, 우리가 이미 잘 알고 있는 비슷하고 익숙한 상황에 빗대어 표현하는 방식
- ³ MIT의 수학자이자 교육학자인 Seymour Papert는 1960년대 후반, 아이들이 컴퓨터와 상호작용하며 논리적 사고를 기를 수 있도록 ‘LOGO’라는 프로그래밍 언어를 개발했다. 이 언어에서 아이들의 코딩 명령을 받아 시각적으로 수행하는 주체가 바로 ‘거북이’였다.