AI가 인간 조종 없이 사람 죽였다, 어떻게 가능했나

2020년 3월, 동부와 서부에 별도 정부가 세워진 채 갈등을 겪던 리비아의 한 거리에서 벌어진 일이다. 당시 리비아 동부군은 서부 트리폴리에서 퇴각 중이었다. 도로 위는 후퇴하는 병력과 보급 차량의 기다란 행렬로 가득 찼다. 그 혼란의 한가운데 공중에 작은 드론이 나타났다. 터키 방산기업 STM이 제작한 카르구-2. 마트 진열대에서 흔히 볼 수 있는 촬영용 드론과 크게 다를 바 없는, 네 개의 프로펠러로 작동하는 기체였다. 이 드론이 퇴각 중이던 군인을 죽인 것으로 보인다. '인류 최초의 자율살상'으로 불리며 논쟁을 촉발한 사건이다.

이후 2021년 3월, 유엔 안전보장이사회에 리비아 전문가 패널 보고서(S/2021/229)가 제출되었다. 548쪽에 달하는 이 보고서의 제63항에 관련 기록이 담겼다. 2020년 3월 리비아 트리폴리 인근, 퇴각하던 병력이 튀르키예산 자율살상무기 '카르구-2'에 의해 "추적당하고 원격 교전되었다"는 내용, 조작자와 무기 사이의 데이터 연결도 없이, 기계가 스스로 표적을 탐색하고 파괴하는 '발사 후 망각' 기술이 실행됐다는 고발이었다.

'카르구-2', 퇴각 군인 사살했나

큰사진보기

'카르구-2'는 튀르키예의 STM(Savunma Teknolojileri Mühendislik)이 제작한 드론이다. STM은 군함, 전술 드론, 지휘통제 시스템, 사이버 보안 등을 개발하는 주요 국영 군수산업체다. 과거 해당 제품을 소개하는 카탈로그에는 '자율 정밀타격'이라는 단어가 있었다고 전해지는데 현재로서는 확인할 방법이 없다.

해당 사건을 보고서에 담았던 유엔 전문가 패널은 해당 이슈를 더 파고들지 않았다. '카르구-2' 해당 보고서가 무기이전을 포함한 유엔 제재 위반을 다뤘다는 점에서 자신들의 임무와 권한을 벗어난 사안이라고 판단했을 수 있다. 당시 뉴욕타임스나 NPR 등 언론 역시 이 사건을 대대적으로 다루었지만, '시사한다'거나 '추정된다' 정도로 갈음했다. 언론이 지녀야 할 검증의 책임을 회피한 보도였다.

퇴각하는 군인을 자율적으로 사살한 '드론'과 관련해 이 세계는 더 크게 문제 삼지 않았다. 그 선을 넘었다는 사실을 알면서도, 모르는 척, 못 본 척 고개를 돌렸다. 기계가 사람을 죽였다는 의혹 앞에 그 사실을 파고들고 직면하기보다는, 판단을 미루고, 질문을 유예하며, 진실을 침묵의 늪으로 밀어 넣은 셈이다.

그 어떤 미움도, 분노도, 신념도, 충성심도 없이 입력된 값에 따라 눈앞의 존재를 죽일 수 있는 기계의 등장. 최적화된 알고리즘의 계산에 따라 살아있는 모든 존재를 0과 1의 정밀한 표적으로 전환시킬 수 있는 세계를 생각하면 온몸에 소름이 끼친다. 살아있다는 사실, 살아있는 존재가 완전히 사물화(事物化)당할 수 있는 사회, 생물과 무생물의 경계가 희미해지는 세계 아닌가.

이미 넘어선 도덕적 선

큰사진보기

2023년 10월, 안토니우 구테흐스(Antonio Guterres) 유엔 사무총장은 기계가 스스로 인간을 표적 삼아 숨통을 끊는 미래를 두고 "결코 넘어서는 안 될 도덕적 선(a moral line that must not be crossed)"이라 단언했다. 인간으로서 지켜내야 할 마지막 존엄을 이야기했겠지만, 그 간절한 선언은 절반의 의미를 잃어버린 채 세상에 던져졌다. 인류는 이미 몇 년 전, 그 선을 넘어서 버렸다.

유엔 보고서에는 카르구-2의 사진이 담겨 있다. 그러나 그 이후의 진실들은 규명되지 않은 채 남겨졌다. 역사상 최초의 '기계에 의한 자율살상'이 증발해 버린 것이다. 자율살상의 첫 번째 사건이 사건으로 기록되지 않을 때 발생하는 진짜 비극은, 그 뒤를 이을 두 번째, 세 번째 참상이 그저 일상의 풍경으로 무감각하게 수용될 수 있다는 데 있다. '선'을 넘었던 첫 번째 사건을 흐지부지 넘긴 덕분에, 자율살상 기술을 개발하는 군수산업체들은 도덕적 규제라는 장애물 없이 기술의 한계를 밀어붙일 시간을 벌었다.

그 결과가 드러나기 시작했다. 지난 6월의 일이다, 영국 주재 우크라이나 대사관은 미디어 콘퍼런스를 주최했다. 이 콘퍼런스에 참여한 우크라이나의 드론 제조사 대표는 바흐무트와 차시우야르의 들판에서 10대의 AI 드론이 '터미네이터 모드'로 투입되어 완전 자율 전투 '실험'을 진행했다고 전했다. 이 사안의 사실 여부를 확인할 방법은 그의 발언밖에 없다. 해당 사안에 대한 언론의 질의에 우크라이나 국방부는 응답하지 않았다.

러시아 군인들 여러 명이 사망한 것으로 추정되지만, 드론과 인간 운용자 사이의 연결은 없었고, 현장 영상조차 없었다. 유인 드론을 따로 보내 확인한 결과는 파괴된 트럭 한 대와 몇 구의 시신이라고 전해진다.

지난 8월 24일, 뉴욕타임스는 러시아군의 완전 자율드론 공격을 두고 "이 공격으로 우크라이나 민간인 3명이 사망했다"고 보도했다. 우크라이나 정부가 확인해 준 사실에 따르면, 자포리자 지역의 프로판 가스 탱크 시설을 공격한 드론은 전적으로 인공지능에 의해 조종되었다. 해당 드론에는 외부 통신용 안테나가 없었고, 목표물을 스스로 결정할 수 있는 엔비디아의 '젯슨 오린(Jetson Orin)' 시스템이 탑재된 것으로 알려졌다. 젯슨 오린은 외부의 데이터 센터 없이 로봇 내부에서 모든 연산을 처리하는 소형 컴퓨터다.

완전자율무기로 군인들이 사망한 데 이어, 민간인까지 사망했다. 교전의 최종 단계에서 인공지능에 살상 판단을 맡기지 않겠다던 인간의 마지막 금기는 자꾸 도전받고 있다. '방어'라는 명분 아래 완전자율무기에 대한 규제 담론은 점점 더 약화되고 있다.

리비아의 거리에서 '카르구-2'가 정확히 몇 사람을 어떻게 살해했는지 명확히 알려지지 않듯, 차시우야르의 들판에서 터미네이터 모드의 쿼드콥터 드론들이 몇 명의 러시아 군인을 어떻게 죽였는지 또한 알려져 있지 않다. 기계가 사람을 죽였다는 사실에 더 이상 놀라워하지도, 문제 삼지도 않는 세계가 이미 도래했다.

오펜하이머 순간

큰사진보기

흔히 이러한 불가역적인 기술적 비극을 이야기할 때 '오펜하이머'의 이름이 따라온다. 비극적 고뇌에 찬 과학자, 자신이 만든 악마를 바라보며 절망하는 지성인의 초상.

오펜하이머는 국가안보라는 대의명분 속에서 폭탄을 만들었지만, 남은 평생 자신이 지은 죄의 무게를 짊어지고 살아야 했다. 그러나 적어도 그는 자신의 선택이 불러온 파국을 똑똑히 직시했고, 끊임없이 사죄하고 괴로워했다. 그가 그토록 괴로울 수밖에 없었던 이유는 그 일을 하지 않는 선택도 할 수 있었기 때문 아닐까. 맨해튼 프로젝트의 전제가 달라졌을 때 망설임 없이 연구소를 걸어 나갔던 과학자 조지프 로트블랫처럼, 그는 스스로 책임을 지는 방식으로써의 '거절'을 선택할 수도 있었다.

하지만 지금 인공지능을 개발하고 전장에 투입하는 이들에게 '오펜하이머 순간'이라는 미화는 온당치 않다. 그들은 고뇌하지 않는다. 알고리즘을 짜는 개발자, 드론을 조립하는 엔지니어, 타격을 승인하는 지휘관, 세금으로 만들어진 자본을 대어 국가주도로 무기를 만들도록 촉진하는 정치인까지, 그들의 책임은 잘게 쪼개져 공기 중으로 산산이 분산된다. 자신이 개발한 코드의 토막들이 누구를 죽음으로 몰고 갈지, 어떤 피를 흘리게 할지 관심 두지 않고, 그 일이 벌어진다고 해도 그에 대한 책임을 나누어지지 않는다.

전장의 참상을 스마트폰 화면을 쓸어 올리듯 무감각하게 소비하는 일상, 모니터 너머의 비극은 자극적인 헤드라인으로 다가왔다가 이내 말끔하게 잊힌다. 인공지능 기술을 개발하는 연구실의 사정도 비슷하리라. 코드 몇 줄을 입력하는 엔지니어의 손길에는 어떠한 피비린내도 묻어나지 않을 것이다. 폭력은 이토록 완벽하게 세척되고, 살상은 이토록 멸균된 일상의 형태로 수행된다. 그 깔끔한 일상성 속에서 인간이 붙잡아야 할 최소한의 죄책감마저 산뜻하게 휘발되기 때문이다.

'국가 안보'라는 마법의 단어는 상대방을 '죽여도 되는 존재'로 탈바꿈시키고, 그 안보의 허구성을 지적하는 내부의 목소리마저 '불온한 적'으로 몰아세운다. 눈앞의 타인을 나와 같은 피가 흐르는 인간으로 보지 않고 '표적'으로 지워버려야만 작동하는 전쟁의 생태계. 그 생태계의 끝에서 인간들은 기계에 단죄와 살상의 권한을 넘겨주었다. 이제 내 손에 피를 묻힐 일은 없겠다는 안도와 함께.

2026년 8월 31일부터 9월 4일까지 스위스 제네바에서 자율살상무기체계 금지협약 도출을 위한 정부전문가회의가 진행된다. 이 회의를 5일 앞두고, 안토니우 구테흐스 유엔 사무총장과 미르야나 스폴랴리치 에거(Mirjana Spoljaric Egger) 국제적십자위원회(ICRC) 총재가 공동성명을 냈다.

"우리는 이제 기계에 의한 인간의 자율적 표적 지정이라는 도덕적 마지노선을 넘어서는 데 위험할 정도로 가까워졌습니다(We are now dangerously close to crossing a moral red line: the autonomous targeting of humans by machines)."

리비아의 거리에서, 바흐무트의 들판에서, 자포리자의 프로판 가스 탱크시설에서, 기계의 알고리즘이 0과 1의 계산 끝에 누군가의 목숨을 앗아갔을 때, 그 살상의 방아쇠를 당긴 손은 누구의 것인가. '적'이라는 라벨만 붙으면 그 어떤 질문도 생략된 채 목숨을 소거할 수 있는 세계. 타인을 비인간화함으로써야 겨우 유지되는 이 아슬아슬한 체제 속에서, 도대체 이 세계가 말하는 '안전'이란 누구를 위한 것인가. '안전'을 볼모 삼아 모두를 더욱 안전하지 않은 세계로 달려가는 지금, 당신은 그 '선'을 넘었는가, 밟고 서 있는가, 넘지 않기로 선택했는가.