인공지능 복제본은 정말 즉시 배우고 공유하는가

☞ 이전 기사 : "잘 맞추니 이해했다?" 물리학자가 본 힌튼의 오만과 신념

힌튼의 최근 발언은 두 층위에서 논란을 부른다. 하나는 그가 말하는 '디지털 지능'이 실제로 어떻게 작동하는가의 문제이고, 다른 하나는 그 디지털 지능이 인간을 추월하고 조작하며 통제 밖으로 벗어날 수 있다는 공포 서사의 문제이다. 이 둘은 서로 연결되어 있지만 같은 문제는 아니다.

이 글은 두 편으로 나누어 쓴다. 첫 번째 글에서는 힌튼이 왜 '인공지능' 대신 '디지털 지능'이라는 말을 쓰는지, 그리고 그 표현이 왜 서로 다른 복제본들이 즉시 지식을 공유하고 실시간으로 학습할 수 있다는 인상을 주는지 살펴본다. 두 번째 글에서는 그렇게 형성된 이미지가 어떻게 '인간 추월', '조작', '권력 추구', '통제 상실'의 서사로 이어지는지 따져볼 것이다.

힌튼은 최근 강연과 인터뷰에서 '인공지능'이라는 말 대신 '디지털 지능(Digital Intelligence)'이라는 표현을 의도적으로 사용하며 그 차이점을 강조하고 있다. 특히 생물학적 지능(인간)은 자신이 학습한 내용을 다른 뇌로 전송하려면 언어라는 부정확하면서도 매우 느린 도구를 써야 하지만, 디지털 지능은 동일한 모델을 수천 개의 복제본에 뿌릴 수 있고, 한 모델이 배운 것을 디지털 정보로 즉시 그리고 모두 똑같이 정확하게 복제본이 공유할 수 있다는 점에 주목한다.

'인공지능'이라는 말에는 인간 지능을 모방한다는 전제가 깔려 있다. 따라서 인간 지능을 닮았는가, 의미를 이해하는가, 의식이 있는가, 경험을 가지는가와 같은 질문을 피할 수 없는데, 아직 명확한 답이 존재하지 않는다.

'디지털 지능'이라는 용어 자체는 인간과의 유사성을 전제로 하지 않는다. 인간과는 다른 방식으로 구현된 또 하나의 지능 체계라는 뜻이다. 겉으로 보면 오히려 겸손해 보인다. 인간과 동일한 방식의 지능을 구현하지 않아도 된다. 디지털 방식으로 작동하는 계산 체계일 뿐이라고 말할 수 있다. 그러면서도 특정 과제에서 인간을 능가한다고 주장하는 데에는 문제가 없다.

힌튼이 이런 표현을 택한 데에는, 인간 지능의 모방 여부를 둘러싼 불필요한 논쟁을 피하려는 의도도 있어 보인다. 하지만 평생을 인공지능 연구에 몸바친 '대가'의 생각이 큰 변화를 일으켰다는 것은 매우 중요한 시사점을 가진다.

필자가 보기에 힌튼의 말은 현대 인공지능의 실제 작동방식을 과장되게 전달하거나, 적어도 일반 대중에게 심각한 오해를 불러일으킬 위험이 크다. 그 이유는 다음과 같다.

힌튼의 말에 따르면, 앞으로의 인공지능은, 서로 다른 데이터 센터에 있는 동일 인공지능의 복제본들이 각자 실시간으로 학습하여 가중치를 갱신하고, 각 복제본이 갱신한 '가중치들의 변화'를 모두 종합하면 그 인공지능의 전체 성능이 동시에 성장할 것이라고 가정하는 것 같다. 이것이 가능하려면 인공지능의 '실시간 학습'이 가능해야 하는데, 불행히도 현대의 거대 언어모형에 기반한 생성형 인공지능은 실시간 학습을 하지 못한다. 학습은 대체로 새로운 버전 출시를 위한 업그레이드 과정에서 집중적으로 이루어진다. 그런 점에서, 학습이 사실상 출시 전 한 번에 이루어진다고 말해도 그렇게 지나친 말은 아니다. 하지만 힌튼의 말에서는 조금 다른 분위기를 엿볼 수 있다.

특별히 필자가 위험하다고 판단하는 부분이 있다. 힌튼은 서로 다른 복제본이 '정확히 같은 일(exactly the same thing)'을 한다고 말한다.



필자가 확인한 인터뷰 영상의 11분대 대목에서 힌튼은 'exactly'라는 단어를 반복해 사용한다. 필자가 듣기에는 이 단어를 특별히 강조해 말하는 듯했는데, 다른 영상에서도 이 낱말을 반복해서 계속 쓰고 있는 것으로 보아, 적어도 그가 이 표현을 핵심적인 수사로 쓰고 있다는 점만은 분명해 보인다. 힌튼은 디지털 지능의 우월성을 강조하며 '비트 수준의 동일성(Bit-level Identity)'을 내세운다. 그는 서로 다른 하드웨어 위에서도 디지털 지능은 한 치의 오차도 없이 똑같은 계산을 수행할 수 있으며, 이 완벽한 동일성이야말로 수만 개의 에이전트가 지식을 즉시 공유하게 만드는 힘이라고 주장한다.

그러나 '비트 수준의 동일성'은 정적 데이터일 때의 이야기다. 실제로 수조 번의 행렬 연산을 수행하는 병렬 연산 과정에서는 하드웨어의 부동소수점 처리 방식, 드라이버 버전 등으로 인해 '수학적으로 완벽하게 동일한 결과'가 나오지 않는 경우가 허다하다. 특히 거대 언어 모델을 돌리는 병렬 연산 환경에서는 난수를 처리하는 순서나 방식이 하드웨어 스케줄링에 따라 미세하게 달라질 수 있다. 특히 분산 컴퓨팅 환경에서 수만 개의 복제본이 '완벽하게 동일한 난수 처리 순서'를 실시간으로 동기화하며 작동한다는 것은 통신 지연 문제로 인해 사실상 불가능하다. 힌튼은 이 공학적 변수를 무시하고 디지털의 '이상적 정의'에만 매몰되어 있다.

기술자들끼리라면 'exactly'는 디지털 복제의 기능적 동일성을 강조하는 수식어 정도로 넘길 수 있을지 모른다. 그러나 일반 대중에게 이 표현은 전혀 다르게 들린다. 그것은 서로 다른 데이터센터에 있는 인공지능 복제본들이 문자 그대로 똑같이 작동하며, 따라서 서로의 학습 결과를 곧바로 공유하고 통합할 수 있다는 인상을 준다. 문제는 바로 거기에 있다. 기능적으로 같은 복제본이라는 말과, 실제 계산 과정까지 정확히 같다는 말은 전혀 다르기 때문이다. 'exactly'를 기술자들은 앞에 '거의(almost)'가 붙어 있다고 묵시적으로 동의하지만, 일반인에게는 문자 그대로 들린다.

이 낱말이 위험한 이유는, 이 낱말로부터 떠올리는 것이 바로 '즉시 공유'와 '실시간 학습'의 가능성이기 때문이다. 일반 대중이 '즉시 공유'와 '실시간 학습'을 자연스럽게 떠올리게 되는 것은, 힌튼이 복제본들이 '정확히 같은 일'을 한다고 말하기 때문이다. 힌튼의 생각을 요약하면 다음과 같다.

"그들은 자신이 아는 것을 즉시 공유할 수 있습니다... 마치 1만 명의 사람이 있는데, 그중 한 명이라도 무언가를 배우면 나머지 모두가 그것을 자동으로 알게 되는 것과 같습니다."
("They can share what they know instantly... it's as if you had 10,000 people and whenever one person learned something, everybody else automatically knew it.")

힌튼의 말은 적어도, 복제본들 사이에서 실시간 학습과 가중치 갱신이 가능하다는 인상을 준다. 순수한 계산량만 따로 떼어 놓고 보면 상상 가능한 그림일 수 있다. 문제는 실제 서비스는 계산만으로 이루어지지 않는다는 데 있다. 현실적으로는 적어도 한 서버에 수많은 사용자가 동시 접속해 있을 텐데, 과연 그 많은 접속자들의 대화를 통해 무슨 수로 학습을 하겠다는 것인지 선뜻 납득하기 어렵다. 사용자들과의 대화 자체에도 엄청난 양의 계산시간과 전력이 소모된다. 설사 사용자들로부터 의미 있는 학습 자료를 얻었다 하더라도, 그것을 실제 가중치로 환산하는 작업은 그렇게 간단한 일이 아니다. 그렇게 새로운 가중치를 얻었다고 해도, 그것을 다시 저장하고 다른 복제본들에 반영하며 전체 시스템에 재배포하는 일 또한 인공지능 스스로 하는 일이 아니다.

더 나아가 이것들을 각 서버에 있는 복사본들끼리 서로 공유하면서 가중치를 업데이트한다는 것은 현실성도 없을뿐더러 많은 문제점을 일으킨다. 예를 들어 한 서버에서는 어떤 가중치를 낮추는 방향의 신호가 나왔는데, 다른 서버에서는 오히려 그것을 높이는 방향의 신호가 나올 수도 있다. 과연 이런 것들을 어떻게 해결할 수 있겠는가? 다만 사용자들이 실시간 학습하는 것처럼 느끼는 이유는 사용자와 실시간으로 나눈 대화를 기억-메모리에 저장-하고 있다가 꺼내서 참조하기 때문에 실시간으로 학습하고 있다는 인상을 주기 때문이다. 다시 말해, 인공지능이 '배우는' 것이 아니라, 이미 주어진 가중치는 그대로 둔 채, 직전 대화 내용을 임시로 붙여서 답을 만드는 것이다. 인간은 대화를 통해 조금씩 더 나아지는 존재라고 믿기 때문에, 대화형 인공지능에게도 같은 방식의 학습을 자연스럽게 투사한다.

그렇다면 다음과 같이 물어볼 수 있다.

"만일 지구상에 있는 모든 컴퓨터 자원이 한 모델의 활동에만 전념하면 가능하지 않을까?"

인공지능에게 이 가능성을 직접 물어보았다. 우선 공개된 데이터만을 바탕으로 인공지능이 답하는 데 필요한 시간을 계산하게 했더니, 내가 질문한 인공지능은 평균적으로 몇십 마이크로초 안에 한 번씩 사용자의 새로운 질문에 답해야 한다는 결론이 나왔다. 답변만으로도 엄청난 데이터와 에너지가 소비되는데, 거기에 실시간 학습까지 더하는 것은 사실상 불가능하다는 것이다.

그래서 다시 물었다. 만일 전 세계의 모든 컴퓨터가 오직 한 모델만을 위해 쓰인다면 어떻겠느냐고. 이에 대해 인공지능은, 순수한 계산 능력만 생각하면 전혀 불가능하다고만 할 수는 없다고 답했다. 그러나 곧바로 문제가 뒤따랐다. 만일 전 세계에 하나의 모델만 존재한다면, 사용자 수 또한 지금보다 훨씬 더 폭증할 수밖에 없지 않겠느냐고 다시 묻자, 그 정도가 되면 현실적으로는 물론 원리적으로도 불가능에 가까워진다고 답했다. 단순한 응답 처리만 해도 사용자 수에 비례해 시간이 늘어나는데, 학습에 필요한 연산은 규모도 더 크고 복잡하다. 더구나 모든 대화를 학습에 활용할 수도 없다. 장난스러운 질문, 오류가 섞인 데이터, 악의적 의도를 가진 입력들을 걸러내는 데만도 막대한 시간이 필요하다. 여기에 학습 결과를 전역적으로 공유하기 위한 통신망의 병목현상까지 더하면, 그런 식의 실시간 전역 학습은 결국 성립하기 어렵다는 결론에 이른다.

물론 필자의 이런 해석은 지나친 과장일 수 있다. 만일 힌튼의 말이 전문가 집단 내부의 토론에서 기술적 문제를 설명하기 위해 나온 것이라면 문제가 없다. 그러나 이 말이 일반 대중을 향한 강연이나 인터뷰에서 나왔다면 사정은 달라진다. 그 경우 일반 청중은 이것을 각지의 인공지능 복사본들이 현장에서 실시간으로 배우고, 그 결과를 곧바로 서로 공유하는 것으로 이해하기 쉽다. 필자의 해석이 전혀 엉뚱하다고 볼 수 없는 이유가 여기에 있다. 오히려 일반 대중은 필자처럼 해석할 가능성이 훨씬 더 크다. 일반 사용자들은 지금도 생성형 인공지능이 실시간 학습하는 것으로 알고 있다. 그리고 힌튼의 다음 말을 들어보면, 그 역시 단순한 기술 설명을 넘어 그런 위기의 인상을 전달하려 했던 것이 아닌가 싶은 대목이 있다.

힌튼은 이런 디지털 지능의 복제와 공유 가능성을 말한 뒤, 그것이 인간보다 더 똑똑해지고, 인간을 조작하고, 더 많은 통제력을 추구하게 될 것이라는 이야기로 나아간다. 다음 글에서는 바로 그 비약이 어떻게 이루어지는지, 그리고 그 과정에서 인공지능과 에이전트가 어떻게 뒤섞이는지를 따져보려 한다. 3편으로 이어진다.