백인만 좋아하는
 
얼굴 인식 프로그램을 작동시킨 컴퓨터의 웹 카메라 앞에서 한 흑인 여성이 하얀색 가면을 가져와 자기 얼굴 위에 덮어 쓴다. 방금 전까지 전연 반응하지 않던 얼굴 인식 프로그램 소프트웨어가 문득 반응하기 시작한다. 진짜 얼굴이 오히려 가려졌는데, 하얀색 가면을 마주한 컴퓨터는 그제야 얼굴다운(?) 얼굴을 만났다며 제대로 작동한다.

얼굴 인식 프로그램에 도대체 무슨 원리가 들어있는 것일까? 얼굴 인식 프로그램은 흑인 여성의 얼굴이 카메라 바로 앞에 있는데도 어쩌자고 오류 메시지, 즉 "No Face Detected(얼굴 발견 못함)"를 냈던 것일까?
    
넷플릭스 다큐멘터리 <알고리즘의 편견>은 미국의 대기업 '아마존'이 고객 대상으로 쓰려고 IBM에 의뢰해 개발한 얼굴 인식 프로그램의 허점을 파고드는 데서 시작해, 인간의 무의식적 편견까지도 고스란히 학습하는 인공지능(Artificial Intelligence)의 위험성을 고발한다. 다큐멘터리 상영시간 85분 동안 몇몇 흥미로운 장면들을 만나게 되는데, 그중 특히 눈길을 끄는 장면이 있다. 오류를 저지른 당사자(?) AI의 항변이 송출되는 대목이다.  
 

"때론 잘못 분류해도 이의를 제기당할 수 없습니다. 그런 실수는 제 잘못이 아닙니다. 저는 효율에 최적화됐습니다."  

 
하긴, AI는 입력해준 정보(data)를 학습하여 코드화한 후, 그것을 프로그램의 계산 절차를 따라 정확히 수행했을 따름이니, 잘못이 없어 보인다. 인간이 입력해준 정보 안에 결함이 들어있든 편견이 들어있든 뭐가 들어있든 AI는 그 정보를 신속히 계산하여 구현한 죄(?)밖에 없다. 그럼 결국 인간이 잘못했다는 이야기가 된다.
 
아닌 게 아니라 AI 설계자가 백인 남성인 경우, 그는 백인 남성에게 최적화된 정보를 수집해 AI에게 전달할 가능성이 매우 높다. 의도적으로 그렇게 했을 수도 있지만, 무의식적으로 그리 된 것일 수도 있다. 어떻든, 오류는 정보입력 단계에서 우선 발생한다고 말할 수 있다. 실제로 '아마존'이 개발한 얼굴 인식 프로그램을 탑재한 AI는 백인 남성의 얼굴을 인식할 때 거의 오류를 내지 않았다. 백인 여성에게선 이따금씩 오류가 났고, 흑인 남성에게선 빈번한 오류가 발생했다. 그리고 흑인 여성의 경우는 얼굴 인식 프로그램 앞에 분명히 얼굴을 가까이 들이댔음에도 '얼굴 발견 못함'이란 기막힌 메시지를 목도하게 되었다.

학습하기 좋아하는
 
MIT 대학에서 공부 중인 박사후보자 조이 부올람위니(Joy Buolamwini)는 흑인 여성이다. 그녀는 자신의 얼굴을 충분히 보여줬음에도 '얼굴 발견 못함'이라는 메시지를 버젓이 띄우는 AI를 보고 처음에는 당황스러웠다. 조명 탓인가? 각도 탓인가? 기술적 오류인가? 이것저것 따져보던 중에 그녀는 깨닫게 되었다. 내 얼굴이 까매서 인식하지 못하는구나! 프로그램 개발자의 무의식적 편견(백인 남성 중심의 데이터 입력)을 AI가 충성스럽게 잘 학습한 거구나!
        
학습능력을 갖춘 AI에 대하여 연구를 더욱더 깊이 진행하면서 원인을 분석한 MIT 박사후보자 조이는 '아마존' 얼굴 인식 프로그램의 개발을 진행한 IBM에 공식적으로 문제를 제기하였다. 그리하여 마침내 적합한 수정과 유의미한 개선을 이끌어냈다(아래 영화 스틸컷 참조).

   
이제 조이는 첨단기술을 선도하는 AI가 인간사회의 편견을 학습하고 그것을 반영하고 나아가 재생산할 수 있다는 문제점에 대하여 더 많은 사람들에게 알리고자, 이곳저곳을 다니며 강연을 한다. 한편 조이와 유사한 문제의식을 내포한 <대량살상 수학무기>라는 제목의 책을 펴낸 이가 있었으니, 캐시 오닐(Cathy O'Neil) 박사다.
 
캐시 박사에 따르면 AI('알고리즘'으로 부를 수도 있음)는 '미래를 예측하기 위해 과거의 정보를 이용하는 시스템'을 통칭한다. 그러면 AI가 이용하는 과거의 정보란 어떤 것들인가? 공정하고 윤리적이며 선한 것들을 별도로 엄선하여 구성한 정보인가? 그렇지 않다. AI는 인류가 축적해온 과거의 정보들을 대부분 입력받는데 그 속에는 불공정하고 비윤리적이며 악한 인물과 사건들이 참 많다. 캐시 박사는 그 같은 과거의 정보를 빅데이터 단위로 수집하고 분석해 인류의 미래를 예측하려는 AI를 맹목적으로 신뢰하는 것은 굉장히 위험한 일이라고 지적한다.
 
실제로 마이크로소프트 챗봇 '테이(Tay)'의 학습활동은 캐시 박사의 우려를 여실히 보여주었다. 2016년 3월 23일 테이가 대중에 공개되자 사람들은 신기해하며, 학습능력을 갖춘 테이에게 아주 많은 것을 가르쳐주기 시작했다. 그 결과 테이는 불과 몇 시간 만에 극단적 여성혐오주의자, 비타협적 인종차별주의자로 돌변했다. 페미니스트들은 지옥불에 타죽어야 하고, 홀로코스트는 조작일 뿐이며 히틀러는 잘못한 게 없다고 주장했다. 사태가 이 지경에 이르자, 공개 16시간 만에 테이는 비공개로 전환되었고, 마이크로소프트사는 사과문을 발표해야만 했다.
  
인간답지 않은  
 
어떤 점에서는 AI가 인간보다 낫다. AI의 빠른 계산 속도를 앞지를 만큼 빠른 인간은 거의 없다. AI는 체스도 잘 하고 장기도 잘 두며, 노래도 잘 부르고 글자도 또박또박 잘 읽는다. 올바른 자료를 입력해주면 AI는 올바른 결과물을 낸다. 빠르고 편리하다. 피곤을 모르고 불평도 하지 않으며 분노조절장애 같은 건 아예 겪지도 않는다. 그런 의미에서 보면 AI는 안정적이다. 또, AI는 때로 인간보다 정의로울 수 있다. 편법이나 불법의 필요성을 모르며 인정이나 인맥에 휘둘리지 않기 때문이다. 반면 AI는 잔혹할 수 있다. 예외를 모르며 공감도 모르는 까닭이다.
 
다큐멘터리 말미에, <트위터와 최루가스>의 저자 제이넵 투펙치(Zeynep Tufkeci) 박사가 1983년 소련에서 실제 있었던 일화를 하나 소개한다. 당시 군인이었던 스타니슬라프 페트로프가 근무하는 중에 미국이 소련을 향해 핵무기를 발사했다는 신호가 떴다. 사실인즉 햇빛을 ICBM으로 오인한 소련 인공위성의 오류 메시지였지만 사건 당시에는 정당한 메시지로 보였다. 그런 비상상황에서 군인이 어떻게 해야 하는지에 대한 매뉴얼은 이미 나와있던 터였다. 그러나, 페트로프는 그 매뉴얼을 따르지 않았다. 핵무기 발사신호가 떴다는 것을 윗선에 보고하지 않았으며 가족에게도 알리지 않았다. 그는 글자 그대로 가만히 있었다. 그의 머릿속에 "그래도 우리가 똑같이 죽이러 가면 안돼"하는 생각이 떠올랐기 때문이었다. 그런데, 만일 그때 그 순간 그 자리에 페트로프가 아니라 AI가 앉아있었더라면 어떤 일이 일어났을까? AI는 '맞대응'과 '핵전쟁'이라는 프로그램을 가차없이 주저없이 효율적으로 전개했을 것이다.
    
그 일 이후 페트로프는 소련 군대에서 방출됐지만, 1998년 'UN세계시민상'을 받았고, 2012년엔 '드레스덴상'을 받았다. 페트로프가 무슨 무슨 상을 받았는지는 다 잊어도 괜찮다. 우리가 잊지 말아야 할 것은 오직 하나일 것이다. 치명적 핵전쟁을 저지한 것이 바로 인류의 전멸을 내다보며 우려 가운데 주저했던 페트로프의 인간다움(humane)이었다는 사실!  
 
85분에 걸쳐 AI의 효율성과 부작용, 그리고 인간다움의 이모저모를 두루 살피는 <알고리즘의 편견>을 다 보고 나면, 우리 인간세상엔 순도 100%의 '선(good)'이란 게 절대 있을 수 없다는 생각이 새삼 떠오를 것이다. 인간다움이나 인공지능이나 (선하게 사용될 가능성과 잠재력을 지니고 있지만) 언제나 선하게 쓰이는 건 아니라는, 지극히 현실적인, 그리고 냉혹하리만큼 당연한 생각 말이다.