☞이전기사 : 오차범위 내 서열화 표현, 결과 왜곡 '원칙 무시' 

③ 조사방식‧조사질문 다르면 비교 신중해야
전화면접‧자동응답 조사방식 다른 수치 비교하고도 설명 없어

언론은 신뢰할 만한 여론조사를 골라내 보도하고, 추세를 살필 때도 신뢰할 만한 것 중에서도 설계가 최대한 유사한 것끼리 비교해야 합니다. 대략적 예측일 수밖에 없는 여론조사 한계를 고려할 때 이런 노력은 더욱 중요한데요. 하지만 시점이나 조사방법(전화면접/자동응답(ARS)), 유‧무선 비율, 표본 추출틀(휴대전화 가상번호/유‧무선임의걸기(RDD)) 등 요인을 외면한 채 단순 비교하고, 성격이 다른 여론조사를 직접 비교한 보도도 있습니다.
 

큰사진보기
▲  한국일보 <이 새해 첫날 부산행…>(2021/12/30)에서 인용한 여론조사 등록현황(왼쪽 : 서던포스트가 CBS 의뢰로 2021년 12월 24, 25일 실시한 여론조사. 오른쪽: 리서치뷰가 국제신문 의뢰로 2021년 12월 23, 24일 실시한 여론조사)
ⓒ 한국일보	관련사진보기

한국일보 <이 새해 첫날 부산행…신항서 '경제 대통령' 띄운다>(2021년 12월 30일 신은별 기자)는 '서던포스트가 CBS 의뢰로 12월 24, 25일 실시한 여론조사'와 '리서치뷰가 국제신문 의뢰로 12월 23, 24일 실시한 여론조사' 결과를 비교했습니다. 기사 요지는 '서던포스트-CBS 여론조사에서는 이재명 후보와 윤석열 후보가 오차범위 내 접전이나 리서치뷰-국제신문 여론조사에서는 윤석열 후보가 이재명 후보를 15.4%p 앞서기 때문에 민주당 입장에선 PK가 쉽지 않은 지역'이란 것입니다.

그러나 두 여론조사는 조사방법도 달랐고, 나란히 언급한 수치의 종류도 달랐습니다. 먼저 서던포스트-CBS 여론조사는 '무선전화면접 100%'이고, 리서치뷰-국제신문 여론조사는 '무선ARS 80%, 유선ARS 20%'입니다. ARS의 경우 기계음을 듣고 응답하는 방식으로 정치에 관심이 높은 사람이 아니라면 일찌감치 전화를 끊을 가능성이 높습니다. 반면 사람 목소리가 나오는 전화면접의 경우 중간에 끊는 경우는 드물지만, 속내를 밝히기 싫어하는 '샤이층' 표심 확인이 어렵다는 게 전문가들의 분석입니다.

이러한 차이로 비슷한 시기에 조사했더라도 정반대 결과를 내놓는 경우도 있는데요. 한겨레21 <왜 전화면접은 이재명, ARS는 윤석열이 강세?>(2021년 7월 28일 윤희웅 오피니언라이브 여론분석센터장)는 "전화면접에서는 이재명 후보가, ARS에서는 야권의 경우 윤석열 후보가, 여권에서는 이낙연 후보가 강세를 띤다"며 조사방식 별로 결과가 다른 이유를 분석했습니다. 한국기자협회 등은 이를 고려해 '선거여론조사보도준칙' 17조 1항에서 '서로 다른 시점에서 실시된 여론조사는 그 조사방법이 동일한 경우에만 상호비교가 가능하다는 점에 주의해야 한다'고 적고 있습니다.

또한 해당 기사에서 서던포스트-CBS 여론조사 결과는 다자대결 결과, 리서치뷰-국제신문 여론조사 결과는 양자대결 결과였습니다. 하지만 한국일보는 서던포스트-CBS가 조사한 지지율에 대해선 이런 언급 없이 '오차범위 내 접전'이라고만 보도했습니다. 다자대결, 양자대결에 따른 지지도 차이가 적지 않음에도 두 결과를 명확히 구분하지 않고, 나열하는 방식으로 비교한 것입니다.

한국일보가 기사에서 언급한 서던포스트-CBS 여론조사 결과는 수치부터 틀렸습니다. 기사에서는 "부·울·경에서 이 후보(33.4%)와 윤 후보(28.4%)가 오차 범위 내 접전"이라고 적었지만, 여심위에 등록된 여론조사 결과에 따르면 이 후보는 33.6%, 윤 후보는 28.2%입니다. 인용한 수치를 틀린 데다 나란히 비교하기 어려운 여론조사를 비교했다는 점에서 문제인 기사입니다.

성격 다른 여론조사, 질문 직접 비교 괜찮나

MBN <[정치톡톡] 고3 갈라치기/커튼 내조/김동연 1호 인재 AI/허경영 3위>(2021년 12월 7일 선한빛 기자)도 3개 여론조사 결과를 비교하며 대선후보 지지율을 논평했으나 조사방법도 질문도 제각각인 여론조사입니다. MBN은 "3일과 4일 양일에 걸쳐서 PNR 조사해 발표한 결과", "지난달 25일 아시아리서치앤컨설팅", "지난달 30일 한길리서치가 발표한 조사"를 나열하며 허경영 국가혁명당 대선후보의 선전을 전했는데요.

세 개 여론조사 모두 조사시점은 물론 조사방법에서도 PNR은 '무선ARS 90%, 유선 10%', 아시아리서치앤컨설팅은 '무선ARS 100%', 한길리서치는 '무선ARS 89.7% 유선전화면접 10.3%'로 유‧무선 비율, 조사방법이 제각각입니니다. 게다가 성별‧지역‧연령별로 가중치를 부여하는 방식도 '셀가중', '림가중'으로 나뉘는데 이 방식 또한 차이가 있는데도 나란히 비교했습니다.

설문지를 살펴보면 질문 역시 PNR은 '적합도', 아시아리서치앤컨설팅과 한길리서치는 '지지도'를 물었습니다. 적합도는 대선 후보로서 능력을 묻는 질문이라면 지지도는 정서적 호감도를 묻는 질문이란 게 전문가들 견해입니다. '선거여론조사보도준칙' 제17조 2항에서도 "'지지율 조사'와 '선호도 조사'처럼 성격이 다른 여론조사들을 직접 비교하지 않는다"고 명시하고 있습니다.

(※ 한국일보 <李 새해 첫날 부산행... 신항서 '경제 대통령' 띄운다>(2021년 12월 30일 신은별 기자)에서 인용한 여론조사 개요 : ① 조사의뢰자 : CBS/선거여론조사기관: 서던포스트/ 조사일시: 2021년 12월 24~25일(2일간)/ 그밖의 사항은 중앙선거여론조사심의위원회 홈페이지 참조, 클릭 시 이동 ② 조사의뢰자: 국제신문/ 선거여론조사기관: 리서치뷰/ 조사일시: 2021년 12월 23일~24일(2일간)/ 그밖의 사항은 중앙선거여론조사심의위원회 홈페이지 참조, 클릭 시 이동)
(※ MBN <[정치톡톡] 고3 갈라치기 / 커튼 내조 / 김동연 1호 인재 AI / 허경영 3위>(2021년 12월 7일 선한빛 기자)에서 인용한 여론조사 개요: ① 조사의뢰자: 뉴데일리‧시사경남/ 선거여론조사기관: PNR/ 조사일시: 2021년 12월 3일~4일(2일간)/ 그밖의 사항은 중앙선거여론조사심의위원회 홈페이지 참조, 클릭 시 이동 ② 선거여론조사기관: 아시아리서치앤컨설팅/ 조사일시: 2021년 11월 24일(1일간)/ 그밖의 사항은 중앙선거여론조사심의위원회 홈페이지 참조, 클릭 시 이동 ③ 조사의뢰자: 폴리뉴스/ 선거여론조사기관: 한길리서치/ 조사일시: 2021년 11월 27일~28일(2일간)/ 그밖의 사항은 중앙선거여론조사심의위원회 홈페이지 참조, 클릭 시 이동)

* 모니터 대상 : 2021년 11월 29일~2022년 1월 8일 경향신문, 동아일보, 조선일보, 중앙일보, 한겨레, 한국일보, 매일경제, 한국경제 지면보도 / 2021년 11월 29일~2022년 1월 8일 KBS <뉴스9>, MBC <뉴스데스크>, SBS <8뉴스>, JTBC <뉴스룸>(1,2부), TV조선 <뉴스9>(평일)/<뉴스7>(주말), 채널A <뉴스A>, MBN <종합뉴스>