[기사 보강 : 4일 오전 10시 16분]

지난달 28일, 선거 여론조사 왜곡을 근절하겠다면서 법 하나를 처리했다(관련기사: 작은 언론사의 선거여론 조사를 못믿겠다). 과거에도 "한국에선 의뢰자의 입맛에 따라 여론조사 결과가 맞춰진다"는 주장을 뒷받침하는 기사가 나오기도 했다(관련기사: 선거 여론조사 왜 안 맞냐면...전문가들의 '진단').

한국에서 여론조사 협회는 크게 한국정치조사협회(KOPRA since 2011)와 사단법인 한국조사협회(KORA since 1992)가 있다. 전자는 회원 업체수가 12개이고, 후자는 43업체다.

정치조사협회 사이트에서는 회원 업체의 윤리 강령을 찾아 볼 수 없다. 사단법인 한국조사협회 (회원업체 43)의 윤리강령에 조사자가 기본적으로 지켜야 할 사항과 조사 결과 공표시 담아야 할 내용들이 있다. 그러나 그 조차 구체적이지 않다.

참고로 미국 여론조사협회(AAPOR since 1946)에서 회원들에게 권고하는 여론조사결과 발표시 지켜야 할 사항들은 아래와 같다.

조사 후원자 또는 의뢰자, 조사 업체, 실제 조사에 사용된 설문, 전체 표본의 정확한 크기, 모집단, 표본오차와 신뢰 수준, 조사의 구체적인 방법, 조사시기와 장소, 하위 표본의 정확한 크기, 가중치 부여 여부 및 최종 결과에 도달하기까지의 추산과정 등이다.

선거철 여론조작과 여론조사의 문제점, 특히 시간이 흐를수록 낮아지는 응답률과 관련해서 미주 희망연대 칼럼니스트 박영철 교수와의 인터뷰를 소개한다. 지난달 29일부터 2월 2일까지 한 이메일 인터뷰다.

- 오는 6.4 지방선거가 아직 만 4개월이나 남았고, 중요한 지방선거 룰도 확정되지 않은 상황에서 선거 열기가 대단합니다. 특히 매일 쏟아지는 여론조사의 홍수는 과열상태라고 느껴질 정도입니다. 박 교수님 의견은 어떠세요?
"동의합니다. 2014년 가장 뜨거운 정치적 화두는 단연코 6.4 지방선거입니다. 이번 선거는 집권당 새누리당과 야권 모두에게 당의 명운을 건 한판 대결이 될 것입니다. 특히 야권의 민주당과 안철수 신당에는 당의 사활이 걸린 중대한 선거로 패배하는 쪽은 한국 정계의 뒤안길로 사라질 가능성이 큽니다. 이 두 당이 어떤 형태로든 연대하지 않고 각자 독립적으로 선거를 치른다는 가정에서는 말입니다."

- 6.4 지방선거의 정당별 당선 전망보다 벌써 난립하고 있는 지방선거에 관한 여론조사의 문제점을 집중적으로 짚어보고자 합니다. 며칠 전에 박 교수님의 글을 읽었습니다. 장호준 목사님이 의장으로 계시는 미주희망연대의 블로그에 "<오마이뉴스>의 정직성과 용기를 존경한다. 자체 여론 조사의 매우 낮은 응답률 4.9%를 과감히 발표하다"라는 글을 쓰셨는데 특별한 이유라도 있으신지요?
"네, 그렇습니다. 저는 최근 수년 전까지 한국 대학에서 '경제학 이해를 위한 통계학'을 강의한 적이 있는데, 평소 한국 여론조사의 부끄러울 정도로 낮은 정확성과 정직성에 불만을 가지고 관심있게 지켜보고 있습니다. 그런데 조금도 개선되는 기미가 안 보이고 있습니다. 그런데 한 10일 전에 한국에서 높은 신뢰도를 유지하고 있는 어느 중앙 일간지가 여론조사의 응답률 해석에 대한 심각한 오류를 범한 사실을 발견했습니다.

그 기사의 제목이 "응답률 17%~83%의 의견은 반영 안 돼"이었습니다. 조사대상 1000명 중 응답률이 17%이니까 170명의 의견만 반영되고 나머지 83%, 즉 830명의 의견은 반영되지 안았다는 설명입니다. 이 해석은 크게 잘 못된 것입니다.

응답률이 낮은 경우에는, 여론조사 표집의 대상자 수(즉 1000명)가 모두 다 응답할 때까지 새로운 대상자에게 계속하여 전화를 겁니다. 따라서 위 기사가 주장하듯이 83%의 의견이 반영되지 안했다는 말은 틀린 것입니다."

- 이처럼 심각한 오류가 발생한 이유는 무엇이라고 보시는지요?
"여론조사의 응답률 정의 자체를 모른 데서 생긴 불상사이지요. 문제는 이런 작은 오류의 피해가 심각한 데 있습니다. 여론의 왜곡과 조작을 불러올 위험이 큽니다. 그런데 오마이뉴스가 며칠 전에 자체 여론조사 결과를 보도하면서 글 끝머리에 응답률을 깔끔하게 설명했더군요.

"응답률이 4.9%이지만 2만 296명에게 통화하여 조사 대상 전원인 1000명이 응답했다"라고 말입니다. 이처럼 낮은 응답률을 솔직하게 설명하고 보도한 인터넷 언론은 저로서는 <오마이뉴스>가 처음입니다. 그래서 그 용기와 정직성을 칭찬하고 싶었습니다."

- 많은 여론조사 전문가가 한국 여론조사의 문제점이 많다, 적어도 15개 이상은 된다, 그중에서 한 자리 숫자의 낮은 응답률이 가장 심각하다고 말씀하시는 데, 교수님도 이에 동의하시는지요?
"대체로 동의합니다. 이것이 가장 심각한 문제는 아니지만, 5%미만의 낮은 응답률은 자칫 심각한 여론의 왜곡을 초래할 수 있습니다. 좀 더 자세히 보면, 세 가지 방법으로 여론이 심각히 왜곡될 수 있습니다.

첫번째 경우는, 어느 중앙 일간지의 경우처럼 응답률의 뜻을 잘못 해석하여 여론조사의 결과를 왜곡하는 경우입니다. 아직도 이런 어처구니없는 경우가 발생하는 이유는 여론조사 기관이나 여론조사 스폰서, 여론조사 보도 메디아가 의도적으로 왜곡할 수 있기 때문입니다. 그러나 최근에는 이런 유형의 왜곡은 크게 줄어드는 추세입니다.

두 번째 경우는 응답률이 매우 낮은 경우, 아예 대상자 전원의 응답을 포기하고 중간에 조사 결과를 발표하는 경우입니다. 물론 추가비용의 부담과 훨씬 긴 시간의 필요성, 건전한 직업 윤리관의 결여 등이 원인이지요. 불행히도 이런 부도덕한 행위가 어느 정도 만연되어 있는지는 알 길이 없습니다. 여론조사 기관의 성과(Performance)를 체계적으로 모니터(Monitoring)하고 평가하는 기관이 꼭 필요한 이유입니다.

세 번째 경우는 가장 흔한 경우로서 대상자 전원의 응답을 얻을 때까지 전화를 계속하는 것입니다. 위에 예로든 오마이뉴스의 경우입니다. 문제는 이런 경우 전화 접촉 해야 할 대상자 수가 쉽게 2~5만 명에 이른다는 사실입니다.

추가비용과 인력 부족으로 전화 면담 여론 조사는 거의 불가능하게 되고, 비용과 인력이 전화조사 경우의 10~15% 선인 자동응답조사(ARS) 방법이, 조사의 낮은 정확도와 신뢰도에도 불구하고 선호되는 악순환이 생깁니다. 더 심각한 문제는 이런 경우 시초의 기본 '할당 표집'이 완전히 흐트러지는 현상입니다. 즉 조사결과가 모집단의 여론을 대변할 수 없게 된다는 점입니다."

- 그렇다면 이처럼 위험한 요소를 지닌 낮은 응답률을 높이는 방법은 없는지요?
"그게 쉽지가 않습니다. 최근에는 여론조사의 성지인 미국에서도 응답률이 급격히 낮아지고 있습니다. 일반적으로 미국이나 유럽, 일본에서는 이 응답률이 30%~40% 선이라고 알고 계시는데 최근 몇 년 동안에 미국에서 평균 응답률이 10% 수준으로 급락하여 뜨거운 문제가 되고 있습니다. 미국(Huffingtonpost.com)의 보도에 의하면 미국에서 가장 신뢰도가 높은, 민간 비영리 여론조사 기관인 < Pew Research Center >에서 실시하는 전화여론조사의 응답률이 극적으로 낮아지고 있습니다.

지난 15년 동안에 응답률이 '상상을 초월하는 낮은 수준'으로 하락했습니다. 응답률이 1997년의 36%에서 2012년에 9%로 추락했습니다. 다른 조사도 비슷한 현상을 보입니다. 유선 전화 면담조사의 응답률은 2007년의 25%에서 2012년에 10%로 하락하고 휴대폰 전화면담조사의 응답률은 같은 기간에 25%에서 7%대로 더 추락했습니다. 미국에서 ARS 방법에 의한 조사는 거의 시행되지 않습니다. 단지 ARS 방법의 응답률이 5% 이하일 것이라고 쉽게 추측할 수 있습니다."

- 미국에서마저 응답률이, 그것도 전화면담의 응답률이 이렇게 낮다는 사실은 오늘 처음 들었습니다. 심지어는 영리 기업체 여론조사의 경우, 응답률이 1%에 가까운 경우도 있다고 합니다. 궁금한 것은 이같이 낮은 응답률이 왜 문제가 되는지요? 그리고 이같은 현상이 최근에 발생한 특별한 이유라도 있나요?
"가장 큰 문제는 응답롤이 낮은 경우, 과연 조사 결과의 정확성이 보장되는가? 입니다. 그래서 Pew Research Center에서 특별 기획 조사를 한 바 있습니다. 조사의 결과만 말씀드리면, 전화면담조사의 응답률이 낮은 경우에도 기본 할당표집이 크게 훼손되지 않고 대상자 전원의 응답을 얻어낼 때 계속 전화접촉을 한 경우에 는 그 조사결과를 믿어도 된다고 합니다.

즉 전화면담조사여야 하고 기본 할당표집이 손상되지 않는 경우에 한해서만 조사결과를 신뢰할 수 있다는 결론입니다. 한국과 같은 정치풍토에서는 기대하기 어려운 조건입니다."

- 미국에서 응답률이 급락하고 있는 특별한 이유가 있는지요? 제가 듣기로는 휴대폰 때문이라는 말도 있던데.
"크게 두 가지 이유가 있다고 알고 있습니다. 하나는 미국도 '정치 피로감'과 시도 때도 없는 상업용 텔레마케팅 (Telemarketing) 때문에 전화를 아예 받지 않는 경우가 많습니다. 또 하나는 전화를 받고 싶을 때와 받고 싶은 전화만 받을 수 있는 도구들이 생긴 것입니다.

음성메일이나 전화를 건 사람이 누구인지 알려주는 Caller ID, 받지 않도록 도와주는 전화번호 차단 (Call Blocking), 개인정보 관리(Privacy Management) 등으로 인해 유선전화면담의 경우 최고 25번까지, 휴대폰의 경우 최고 15번까지 시도해야 표집 대상자 전원의 응답을 얻을 수 있다는 통계가 나왔습니다."

- 낮은 응답률 외에도 한국 선거관련 여론조사의 가장 큰 취약점으로 부실한 '할당표집' 구성과 한국 여론조사기관의 직업적 성실성(Professional Integrity) 에 대한 회의를 말씀하시는 분이 많이 계십니다. 교수님의 의견은 어떠신지요?
"매우 중대한 질문입니다. 우선 한국에는 여론조사전문가의 수가 많지 않습니다. 대규모 여론전문 기관을 제외하고는, 영세한 여론연구소가 선거여론조사의 특수성을 제대로 반영하지 않은 '할당표집'을 사용한다고 들었습니다. 컴퓨터 용어로 'Garbage in, Garbage out'의 원칙이 적용되는 경우입니다. 만약 '할당표집'이 조사하고자 하는 모집단(한국국민 전체, 서울시 인구, 전라남도 도민 전체)의 여론을 제대로 반영할 수 없다면 그것은 여론의 왜곡이며 조작이 되는 것입니다.

그리고 선거여론조사를 둘러싼 주인공, 즉 여론조사기관, 후보자, 언론 매체의 직업적 성실성과 신뢰성은 여론조사의 성공을 좌우하는 절대 필요요소입니다. 현재 정부기관의 대선 불법개입문제가 지난 2013년 정국을 뒤흔든 한국의 정치풍토에서는 기대하기 어려운 과제입니다."

- 한국 여론조사 문제점의 하나로, 공직선거법 제108조에는 "선거일 D-6일 이후부터 선거일 당일까지 여론조사 결과 공표 금지 조항이 있는데, 이 조항이 오히려 여론의 왜곡을 불러온다"는 주장이 있습니다. 교수님의 의견은 어떠신지요?
"전폭적으로 동의합니다. 그리고 강력히 이 조항의 즉각 폐지를 주장합니다. 이 조항은 선거 막바지 일주일 동안 정부와 주요 언론업체만이 격변하는 여론의 추이를 독점하도록 허락하고 유권자는 시시각각 요동치는 여론조사의 결과를 모르고 투표하도록 강요하는 모순을 초래하기 때문입니다.

만약에, 역사에는 만약에가 없는 줄 잘 알지만 만약에 지난 대선 때 이 조항이 없었더라면, 그래서 만약 야권 후보가 이기고 있었다는 여론 조사가 선거 2~3일 전에 공표되었더라면, 요즘 문제가 되고 있는 정부기관의 불법 개입문제가 발생하지 안 했을 수도 있었을 가능성도 상상해 봅니다."

- 한국 선거여론조사에 관한 비판적인 진단을 잘 들었습니다. 전망도 이처럼 비관적인가요?
"꼭 그렇지만은 않습니다. 예를 들어 지난 28일 한국 국회의 정치개혁특별위원회가 공직선거법 일부를 처리했는데 바로 선거 여론조사의 왜곡을 근절시키겠다는 명분입니다. 그 내용은 "읍 면 군 단위의 지역신문과 일일 평균 이용자 10만 명 미만 인터넷신문은 선거 여론조사를 사전에 신고해라"입니다. 그리고 여론조상의 심의 방법도 개선했다고 합니다. 물론 이 법개정에 대한 반발도 크지만 한국 정치 현실을 감안할 때 오른 방향의 선택이라고 봅니다.

마지막으로 강조하고 싶은 점은 여론조사 기관이나 (특히 영세 업자의 경우) 조사 스폰서(특히 정치인이나 사업가), 그리고 재정적 자립이 취약한 지방 언론매체들이 여론조사 조작이라는 유혹에 쉽게 빠질 수 있는 정치 사회 윤리풍토가 형성되고 있다는 사실을 간과해서는 안 된다는 사실입니다.

깨어있는 시민단체의 견제 및 홍보 역할이 절실한 시점입니다. 국가기관의 불법선거개입이 의혹을 사고 있는 한국의 정치 현장에서 손쉬운 여론조사의 조작이 가질 수 있는 패악을 사전에 근절해야 합니다.

우선은 응답률의 내용을 보도하지 않는 여론조사는 믿지 않는다, 그리고 ARS 조사 결과나, 후보자나 정당이 후원한 조사는 일단 의심한다는 태도를 취하는 것도 하나의 자기 보호 방법입니다."

[인터뷰 후기] 여론조사, 표면만 보고 믿지 말자

정치적으로 민감한 사안이나 새로운 이슈, 민감한 사안에 대해 잘못된 이름이 붙는 일이 있다. 예를 들면 의료개혁법(Affordable Care Act)이 오바마케어(Obamacare)로 이름 불리면서 부정적 이미지가 커진 것 등이 있겠다. 이에 대해 언론매체들이 정확하고 객관적 보도를 하지 않았을 때는 잘못된 이름이나 이미지가 대중에게 그대로 전달된다. 그리고 이를 토대로 선입견과 편견이 작용하게 된다. 이와 같은 상황은 박영철 교수의 지적처럼 '쓰레기가 들어오면 쓰레기가 나가는 것'(Garbage In, Garbage Out)이 된다. 그래서 전화나 설문 등의 여론조사뿐만 아니라 전문가 패널이나 포커스그룹(Focus Group) 조사 등의 방법이 병행돼야 한다. 무엇보다 숫자로만 보여지는 결과에 집착하지 말고 그 이면에 들어있는 오류(source of error)도 잘 봐야 할 것이다. 물론 언론이 보도를 할 때도 신중하게 해야 하는데, 한국에서는 여론조사 전문기자들이 부족하기에 제목부터 선정적으로 과장·왜곡해서 뽑는 경우가 많다. 전문성(객관성, 정확성, 공정성)을 갖춘 여론조사 기관이 제대로 운영되려면 재정·인력충원 및 훈련·연구개발 등이 튼튼해야 한다. 학계도 언론도 상업마케팅업계도 아직 갈길이 멀어 보인다. 시민단체(예를 들어 미디어투데이, 참여연대 등의 단체)에서 '여론조사 제대로 알기'식의 코너를 마련해 비판적인 언론 소비자를 양성하는 데 신경을 쓰면 어떨까? 미국에서 여론조사나 통계, 정치학 전문가들은 여론조사 불신론·폐론을 주장하기보다는 여론을 만들어내는(manufacturing) 혹은 조작하는(manipulating) 여론조사를 비판하고 지양하자는 입장이 많다. 그리고 아무리 과학적 여론조사라고 하더라도 그것이 흔히 접하는 여론조사인 대중적 견해(mass opinion)인지, 공적인 일에 대해 충분한 정보와 판단 근거를 가지고 의견을 표출하는 공적 판단(public judgement)인지 제대로 구분하고 활용하자(Daniel Yankelovich, 여론조사 대가)는 주장, 여론이라는 것은 조사에 응답한 사람들의 반응(numbered voices)뿐만 아니라 언론 투고·대중집회·공청회·시민단체 등을 통한 여론 또한 포함해야 한다는 견해들이 주를 이룬다. 여론조사를 누가, 왜 하는가의 문제는 결국 민주적 의사수렴 및 정책 결정 과정의 문제이기 때문이다. 여론조사의 결과는 잘 활용하면 민의를 반영하는 도구가 되지만, 이것에만 매달려 정책을 결정하거나 이것을 조작해 통치 수단으로 활용해서도 안될 것이라는 게 관련 학자들의 조언이다.