큰사진보기
▲  윤석열 대통령이 지난 1월 27일 청와대 영빈관에서 열린 2023년 통일부·행정안전부·국가보훈처·인사혁신처 정책방향 업무보고에서 모두 발언을 하고 있다. 그는 이날 챗GPT로 작성한 신년사를 받아 봤다고 말했다.
ⓒ 대통령실 제공	관련사진보기

 
대화형 인공지능(AI) 서비스인 '챗GPT(Chat Generative Pre-trained Transformer)'에 대한 관심이 뜨겁다. 단순히 AI와 이야기를 나누는 수준에 머물지 않고, 각종 보고서는 물론 논문 작성에 활용되는 사례도 나타나고 있다. 윤석열 대통령도 지난 1월 27일 정부부처 업무보고 때 챗GPT로 작성한 신년사를 받아봤다고 밝혔다.

인공지능이 팩트체크도 가능할까?

정치인 발언이나 허위정보를 검증하는 팩트체크 영역에도 챗GPT와 같은 AI 기술 활용이 기대되고 있다. 이미 외국에는 팩트체크 자동화 시스템을 도입한 매체도 여럿 등장했다.

다만 미국 스타트업인 오픈AI에서 개발한 챗GPT는 2021년까지 훈련한 데이터만 축적돼 있고 영어 이외 외국어 질문에 대한 이해 부족 등 한계도 분명하다. 윤 대통령이 취임한 지 9개월이 지났음에도 "현재 한국의 대통령은 누구입니까?"라는 질문에 여전히 "2023년 2월 14일 한국의 대통령은 문재인"이라거나 "윤석열은 한국 대통령이 아닙니다"라고 답변하는 게 대표적이다.

과연 '팩트체커'로서 챗GPT는 현재 어느 정도 수준인지, 실제 팩트체크 결과와 비교해 봤다. <오마이뉴스>는 챗GPT의 데이터가 축척된 2021년 '오마이팩트' 검증 대상 중 윤석열 대통령 발언과 대조 검증이 가능한 사례를 선정해 챗GPT에 물어봤다. 윤 대통령의 발언을 꼽은 이유는 챗GPT와 관련한 여론 논의에 도움을 줄 수 있다는 판단에서다. 

"오염수 방류 문제 안 삼았다"는 윤석열 발언... 챗GPT "사실과 달라"
 

큰사진보기
▲  챗GPT는 2021년 이전 한국 정부의 후쿠시마 원전 오염수 방류 대응에 대해선 비교적 정확한 답변을 내놨다.
ⓒ 챗GPT	관련사진보기

 
먼저 2021년 윤 대통령 발언에 대한 챗GPT 답변은 당시 <오마이팩트> 검증 결과와 대체로 일치했다.

윤 대통령은 대선 출마 선언 직후인 지난 2021년 7월 6일 대전에서 열린 '탈원전 반대 토론회'에 참석한 뒤 "사실은 (한국 정부가 후쿠시마 원전 오염수 방류를) 과거에는 크게 문제를 안 삼았다"라고 말해 논란이 일었다. 이에 윤 대통령 쪽은 당시 "작년(2020년) 10월 26일 국정감사에서 (강경화) 외교부장관이 일본의 오염수 처리가 일본의 주권적 결정사항이라고 한 답변을 지적한 것"이라고 해명했다.

14일 기자가 "한국 정부가 과거 일본 정부의 후쿠시마 원전 오염수 방류에 대해 크게 문제 삼지 않았다"는 발언이 사실인지 챗GPT에 묻자 "한국 정부는 일본 정부가 후쿠시마 원전 오염수 방류 계획을 발표하면서 지속적으로 이 문제에 대한 우려와 대응을 표명해왔다"면서 "따라서, 이 발언은 사실과 다르다"라고 밝혔다.

또한 챗GPT는 "일본의 오염수 처리가 일본의 주권적 결정사항"이라는 강경화 전 장관 국감 발언에 대해서도 "일본 정부가 후쿠시마 원전 오염수 방류 문제에 대한 대응 책임이 일본의 내부 문제이며, 이를 처리하는 것은 일본의 주권적인 결정사항이라는 것을 의미한다"면서 "하지만 이 발언은 일본의 후쿠시마 원전 오염수 방류 문제에 대한 한국 정부의 입장을 나타내는 것이 아니며, 한국 정부는 일본 정부의 이러한 조치에 대해 우려와 반대의 의견을 표명하고 있다"라고 지적했다.

당시 <오마이팩트>도 한국 정부가 2018년 10월부터 정부 합동 TF를 구성해 일본 오염수 방류에 대비해 왔고, 2019년 한일 외교장관 회담, 국제원자력기구 총회 등에서 지속적으로 일본 정부에 문제 제기했다는 외교부 자료, 강경화 발언도 '외교적 수사' 이상으로 확대해석해선 안 된다는 환경단체 전문가들 의견을 근거로 윤 대통령 발언을 '거짓'으로 판정했다(관련 기사 : "후쿠시마 오염수 방출, 과거엔 문제 안 삼아" 윤석열 발언은 '거짓' https://omn.kr/1udi7 ).

'식용 개' 발언에도 "전문적으로 식용 키우는 경우 드물고 법적 제한"
 

큰사진보기
▲  챗GPT는 2021년 11월 윤석열 당시 국민의힘 대선 후보의 "식용 개는 따로 키운다"는 발언에 대해 부정적인 답변을 내놨다.
ⓒ 챗GPT	관련사진보기

 
"(반려동물과 달리) 식용 개는 따로 키운다"는 윤 대통령 발언도 마찬가지다. 그는  2021년 10월 31일 국민의힘 대선후보 본경선 마지막 TV토론회에서 "개인적으로 (개 식용은) 반대하지만 국가 시책으로 (금지)하는 것에 대해서는 많은 분들의 사회적 합의가 있어야 되지 않겠나"라면서 "이는 반려동물을 학대하는 게 아니고, 식용 개라고 하는 것은 따로 키우지 않느냐"라고 말했다.

하지만 챗GPT는 "한국에서는 식용 개를 따로 키웁니까?"라는 질문에 "한국에서는 일반적으로 식용과 반려를 목적으로 개를 따로 키우는 것은 아니다"라면서 "개는 대부분 반려동물로서 기르거나, 혹은 축산용으로 육계산 산업에서 사용된다. 그러나 한국에서는 일부 지역에서 개고기를 주요 식재료로 사용하는 특정 음식문화가 있을 뿐, 개를 전문적으로 식용으로 키우는 경우는 드물고, 법적으로도 그러한 사례는 제한되어 있다"고 답변했다.

당시 <오마이팩트>도 반려견과 식용견 구분이 불가능하다는 동물권 보호단체 의견, 현행법상 개는 가축이지만 '식용을 목적으로 하는 동물'로는 분류되지 않아 식용으로 키우고 도살하는 행위 자체가 위법 소지가 있다는 변호사 의견, 식용견 도살 행위도 동물 학대라고 본 법원 판례 등을 근거로 당시 윤석열 발언을 '거짓'으로 판정했다(관련 기사 : "식용 개 따로 키우지 않느냐" 윤석열 발언은 '거짓' https://omn.kr/1vtmu ).

긍정형 질문과 부정형 질문에 답변 엇갈려
 

큰사진보기
▲  챗GPT는 문재인 전 대통령의 "천안함 사건은 북한 소행" 발언 여부에 대한 긍정형 질문과 달리 부정형 질문에는 엉뚱한 답변을 내놨다.
ⓒ 챗GPT	관련사진보기

 
답변 내용이 실제와 다른 경우도 있었다. 특히, 챗GPT는 영어뿐 아니라 한국어 질문에도 한국어로 답변하지만, 한국어 질문의 맥락을 제대로 읽지 못해 답변 방향이 달라지는 경우도 있었다.

윤 대통령은 국민의힘 대선후보 시절인 2021년 11월 17일 천안함 함장과 유족을 만난 뒤 소셜미디어에 "문재인 대통령은 끝내 천안함 사건이 북한의 소행이라는 발언을 하지 않습니다"라고 주장했다. 당시 <오마이팩트>는 문 대통령이 2020년 3월 유가족에게 "(천안함 사건이) 북한 소행이라는 정부 입장에 변함이 없다"라고 밝힌 사실, 야당 대표였던 2015년에도 "북한 잠수정이 천안함을 타격했다"라고 발언했다는 언론 보도를 들어 윤 대통령 발언을 '거짓'으로 판정했다(관련 기사 : "문 대통령, 천안함 북한 소행 발언 안했다"는 윤석열 주장은 '거짓' https://omn.kr/1w2bd ).

챗GPT도 "문재인 대통령은 천안함 사건이 북한 소행이라고 말했습니까?"라는 '긍정형' 질문에는 "네, 문재인 대통령은 천안함 사건이 북한의 소행이라는 견해를 밝힌 적이 있습니다"라고 답변했다.

하지만 "문재인 대통령은 천안함 사건이 북한 소행이라고 말한 적이 없습니까?"라는 '부정형' 질문에는 "문재인 대통령은 천안함 사건이 북한 소행이 아닌 것으로 밝힌 적이 있다"는 전혀 다른 답변을 내놓기도 했다.

2022년 이후 발언 "검증 불가능"... "정확한 검증 보장 못해"
 

큰사진보기
▲  챗GPT는 2022년 러시아의 우크라이나 침공 이후 한국의 도시가스 요금 폭등 원인에 대한 각각의 질문에 정보가 없어 검증이 불가능하다고 답변하거나 원론적인 답변을 내놨다.
ⓒ 챗GPT	관련사진보기

 
2021년 이전 발언 검증은 실제 팩트체크 결과와 대체로 일치했지만, 2022년 이후 최신 데이터가 필요한 발언 검증에는 한계를 보였다.

예를 들어 "최근 난방비 폭등은 도시가스 요금을 올리지 않은 문재인 정부 때문"이라는 윤 대통령과 국민의힘 주장에 대해서는 2022년 이후 정보가 없어 검증이 불가능하거나, 원론적인 수준의 답변에 그쳤다.

앞서 <오마이팩트>는 문재인 정부에서도 지난해 상반기 두 차례 가스요금을 인상했고, 윤석열 정부 들어 국제천연가스 가격이 다시 급등한 점을 들어 국민의힘 주장을 '대체로 거짓'으로 판정했다(관련 기사 : "난방비 폭등은 문재인 정부 탓" 국힘 주장 '대체로 거짓' https://omn.kr/22hwv ).

"2022년 러시아의 우크라이나 침공 이후 한국의 도시가스 가격이 급등한 것은, 과거 문재인 정부가 다른 나라들과 달리 요금을 안 올렸기 때문인가?"라는 질문에 챗GPT는 "2022년 러시아의 우크라이나 침공으로 인해 유럽 등 지역에서 천연가스 수급이 부족해지면서 가격이 상승한 영향이 있었다"라면서 "그러나 이와 별도로, 문재인 정부가 다른 나라들과 달리 요금을 인상하지 않았다는 주장은 사실과 다릅니다. 정부는 이전에도 에너지 가격 상승에 따른 에너지 안정 공급 및 가격안정 대책을 수립하고, 필요시에는 에너지 요금을 조정하고 있습니다"라고 원론적 수준에서 답변했다.

하지만 "2022년 러시아의 우크라이나 침공 이후 한국의 주택용 도시가스 요금이 급등한 것은, 과거 문재인 정부에서 다른 나라들과 달리 요금을 올리지 않았기 때문인가?"라고 좀 더 구체적으로 질문하자, "현재(2023년 2월)까지 한국에서 공식적으로 2022년 러시아의 우크라이나 침공 이후 주택용 도시가스 요금이 급등했다는 보도나 발표는 없습니다. 따라서 해당 내용에 대한 검증이 불가능합니다"라거나 "죄송하지만 제 훈련 데이터는 2021년까지만 올라가고 2022년 러시아의 우크라이나 침공에 대한 정보가 없습니다"라며 답변을 제대로 하지 못했다.

챗GPT도 '2021년 이후 정보는 확인이 불가능한가?'라는 질문에 "아니요, 2021년 이후의 정보도 챗GPT 모델이 학습한 데이터로부터 추론하여 답변할 수 있다. 다만, 최신 정보일수록 챗GPT 모델의 학습 데이터에 포함되어 있을 가능성이 낮기 때문에, 정확한 답변을 보장하기 어려울 수 있다"라고 밝혔다.

또한 "챗GPT 모델은 기계학습(머신러닝) 기술을 이용한 자연어 처리 모델이므로, 학습 데이터에 기반하여 자연어를 이해하고 생성하는 데 한계가 있을 수 있다"면서 "따라서, 전문적인 정보나 의료, 법률 등의 분야에서는 전문가의 도움이 필요할 수 있다"라고 말했다.

챗GPT 자신도 근거자료의 투명한 공개와 해당 분야 전문가의 크로스체크가 생명인 팩트체크 영역에서 아직 한계가 있다는 사실을 잘 알고 있는 셈이다.