[리얼논평] 메신저로서의 여론조사와 메시지 왜곡
페이지 정보
작성자 작성일 07-04-27 13:57본문
오늘날 여론조사의 위상을 보자. 조사를 담당하는 연구자 스스로가, 혹은 조사결과를 전달하는 미디어 스스로가 여론조사를 메신저 이상으로 느낄 때가 있다. 여론조사가 어느 새 유권자의 의견을 전달하는 메신저로서 역할만이 아니라, 대통령 후보를 뽑는 결정 요인으로까지 역할이 확장되었다. 그래서 현대 정치에서 여론조사는 메신저이기도 하지만, 메시지가 되기도 한다.
그 메시지의 영향력이 여느 때보다 커진 이 시기에 리얼미터는 정치 여론조사 문화에 한 획을 그었다고 자평한다. 한 획이란 국내 최초로 주간 단위의 여론조사를 시작했고, 조사의 타당도를 높이기 위해 고정된 요일(월, 화요일)과 시간(저녁 6시~9시), 그리고 고정된 문항의 틀로 조사를 하고 있다. 그리고 공정성을 기하기 위해 특정 대선후보 캠프를 상대로 영업행위를 하지 않고 있다. 한 획이라고 자평하는 것은 이렇듯 정해진 틀, 그리고 주간단위로 조사하고 있는 회사가 국내에서는 거의 없기 때문이다.
그러한 노력으로 리얼미터는 출범한지 2년이 채 되지 않았지만, 지난해 지자체 선거에서 초미의 관심사였던 서울시장 선거와 올해 4.25 재보궐 선거에서 대선 전초전으로 여겨졌던 대전 서구을 국회의원 선거에서 선거결과에 근접한 조사결과를 도출했다. 선거법상 홈페이지에 미리 공개하지는 못했지만, CBS 방송국에는 선거일 며칠전 조사결과를 이메일로 보냈고, 개표결과가 조사결과와 오차범위내에서 근접하거나 완전 일치하였다.
하지만 리얼미터에 대한 기대와 신뢰 못지 않게, 음해 그리고 부당한 뒷담화가 여전하다는 점이 필자를 안타깝게 한다. 음해와 뒷담화는 주로 경쟁 조사기관들과 그 기관과 제휴된 언론, 그리고 지지율이 낮게 보도된 후보 진영에서 나오곤 하는데, 그 뒷담화의 대표적인 사례는 리얼미터의 ‘조사방법’에 대한 것과 ‘조사결과’에 대한 것으로 나뉜다.
조사방법에 대해서는 대표적인 것이, ‘리얼미터와 CBS의 주간 정례조사가 ARS 조사이고 그렇기 때문에 응답률이 낮다’는, 나름 의미있는 비판이 있는가 하면, 그 외에 근거없는 비판들도 상당히 많다. 하지만 여기서는 그러한 근거없는 비판은 논외로 하고, 응답률에 대해서만 잠깐 언급하고 넘어가보자.
응답률의 경우 국내 전화면접 조사는 대개 30% 전후, ARS 조사는 10% 전후로 알려져 있다. 응답률이 낮기 때문에 조사의 정확성이 떨어진다고 하나, 사실 응답률 기준은 통신매체 환경의 변화와 수용자들의 태도에 따라 재정립되어야 할 부분으로, 실상은 30%도 객관적이지 못하다는 통계학자의 견해가 있는 것을 감안하면, 전화면접 조사와 ARS 조사는 도토리 키재기일 수 있다.
가령 한국갤럽과 제휴관계 있는 조선일보가 2007년 초 여론조사 자문교수단을 구성했는데, 자문교수단 중 한 교수는 필자의 대학원 은사로, 그분이 집필하신 사회조사 방법론 교과서에는 ‘응답률 50% 이하는 조사의 타당도가 없어서 신뢰할 수 없다’는 내용이 있지만, 그 원칙을 지키는 회사는 국내에 단 한군데도 없다. 그럼에도 불구하고 한국갤럽은 지난 여러차례의 대선에서 정확한 출구조사 예측을 한 바 있고, 리얼미터의 경우에도 지난 서울 시장 선거와 이번 재보궐 선거에서 오차범위 내에서 정확한 예측 적중률을 나타냈다.
교과서와 현실은 왜 다를까? 그 교과서가 인용한 많은 참고 논문과 문헌들은 20세기 중후반의 미국 사례를 연구한 것들로, 21세기에 처한 우리나라 상황에 적용하기는 어렵기 때문이다. 즉, 미국이라는 특정 국가에서 우편조사에서 전화조사로 넘어가는 시점에 적립된 가설들은 이제 재조정되어야 할 시점에 놓였다는 것이다. 때문에 응답률 논쟁으로 조사기관의 결과를 평가하기엔 이제 적절치 못하다는 것이 필자의 생각이다.
조사방법에 이어 리얼미터에 대한 뒷담화가 주로 형성되는 테마는 조사결과다. 얘기인즉슨 리얼미터 조사결과는 다른 조사기관의 결과와 비교할 때 ‘튄다’는 것이다. 그렇다면 리얼미터의 조사결과는 다른 조사기관과 얼마나 다를까? 그것을 비교해보고자 한다면, 동일한 시점에 동일한 조사를 할 때 상호간 비교해야 하는데, 실상은 그렇게 비교할 기회가 많지 않고, 모든 여론조사 기관이 일제히 여론조사를 하는, 신년이나 추석 때의 대선 후보 지지율로 그나마 비교가 가능하겠다. 그럼 지난 신년 조사결과를 살펴보자.
(이 글을 쓰기 직전 마침 한 종합신문 정치부 기자로부터 다음과 같은 얘기를 들었다. ‘리얼미터의 조사결과가 최근 정가(政街)에서 다른 조사기관의 결과와 많은 차이를 보인다고 소문나 있는 상태고, 체조경기 점수에서처럼 가장 극단에 위치한 조사기관의 여론조사 결과는 잘 채택되지 않아 보도되지 않기 때문에, 리얼미터의 조사결과가 일부 언론으로부터 잘 보도되지 않을 수 있다’는 것이었다. ‘체조점수의 양극단’ 이야기를 들은 후, 조사기관별 조사방법의 차이가 있기 때문에 단순비교가 무의미한 것이라 생각이 들기도 하지만, 무리한 비교라도 가시적으로 보여줄 필요가 있다고 생각하여 다음과 같이 비교해 본다.)
지난 신년에 조사한 각 언론사의 여론조사 결과 중 주요 주자 세 후보의 조사결과를 살펴보면, 다음과 같다.
위의 그래프를 보면 리얼미터의 조사결과가 오히려 ‘튀지 않는다’는 것을 볼 수 있다. 이 전 시장의 그래프를 보면, 가장 극단에 있는 회사는 오히려 메트릭스, 리서치앤리서치, 한국사회여론연구소, 중앙일보 조사팀이다. 리얼미터는 미디어리서치, 한국갤럽과 함께 극단과는 멀리 있는 것을 볼 수 있다. 다음 박근혜 전 대표와 고건 전 총리의 지지율 그래프에서도 비슷한 결과를 보이고 있다.
그렇다면 왜 이런 소문이 돌았을까? 사실 위의 그래프에서 양극단으로부터 먼 조사기관들은 리얼미터 빼고는 조사의 주기가 짧지 않고 비정기적이다. 오히려 양극단에 있는 회사들의 주기가 비교적 짧은 편(ex. 리서치앤리서치: 주간조사, 한국사회여론연구소 격주조사)이기 때문에 당연히 리얼미터의 조사결과는 그들의 조사결과와 비교하게 되고, 항상 그런 것은 아니지만 때때로 차이를 보이게 되며, 차이가 나타날 때는 역사가 짧은 리얼미터의 조사결과가 틀리지 않았을까 눈초리를 받는다. 리얼미터가 역사가 짧고 ARS 조사라는 이유만으로 신뢰할 수 없다는 얘기를 듣지만, 몇 번의 선거를 치루면서 검증되다 보면, 이 문제는 자연스레 극복될 수 있으리라 생각하기 때문에, 일단 이 문제는 접어두자.
또 다른 소문의 진원지는 어디일까? 그것은 바로 각 후보 진영이다. 한국갤럽이든 미디어리서치이든 양극단으로부터 먼 조사기관들 역시, 만일 매주 조사를 한다면, 후보들이 처한 상황과 뉴스에 의해 가끔은 급변하는 조사결과를 경험하게 될 터인데, 리얼미터만 매주 조사를 하여 발표하다 보니, 지지율이 불리하게 나오는 후보 입장에서는 리얼미터의 조사결과가 사실 탐탁치 않을 수 있다. (사실 탐탁치 않은 여론조사가 되기 위해서 리얼미터를 설립했다. 민심이 만만치 않다는 것을 정치인들에게 메신저로서 보여주기 위함이었다.) 그러다 보니 리얼미터는 어느 때는 박근혜 후보 지지자들에게서, 어느 때는 이명박 전 시장 지지자들에게서, 때로는 양쪽 진영으로부터 비판을 받기도 한다. 물론 각 진영에게 유리한 결과가 나올 때는 적극 인용되기도 하지만.
리얼미터는 단지 민심이 그렇다는 것을 전달하는 메신저에 불과함에도, 각 후보의 유불리에 따라 각 후보 지지자들로부터 때로는 비판을 받고, 때로는 적극적으로 인용되는 현실, 즉 메신저에 충실한 여론조사 기관에게 ‘감춰진 메시지가 혹시 있지는 않을까’라는 오해를 받는 현실을 생각하면, 때로는 억울한 마음 감출 수 없다. 작은 바람이지만 여론조사 결과가 자신들의 입장에 불리하게 나왔다고 해서 근거없는 비방과 뒷담화는 삼가 줬으면 하는 바람이다.
그럼 최근 리얼미터의 이명박 전 시장의 지지율 급락 보도, 그리고 이후 발표된 다른 여론조사 기관들의 조사결과, 그 중에서도 가장 큰 폭의 하락을 발표한 YTN-글로벌리서치의 여론조사 결과에 대해 한번 짚고 넘어가보자. 4월들어 이 전 시장의 하락 소식을 가장 먼저 발표한 곳은 바로 리얼미터였다. 그리고 연이어 한국사회여론연구소, 여의도리서치에서 대략 5% 전후한 지지율 하락 소식을 전했고, 급기야 1주일 후에는 글로벌 리서치에서 무려 13.7%의 하락이라는 폭탄 같은 뉴스가 YTN을 통해 대대적으로 보도됐다.
한국사회여론연구소와 리얼미터 조사에서의 이 전 시장 지지율 하락은 시점상 같은 주에 조사되었고, 같은 경향을 보였다는 점에서 크게 이의를 다는 사람들이 없었으나, 그 다음주 글로벌리서치의 3차 조사가 2주전에 있었던 2차 조사보다 13.7% 하락했다고 보도하고, 리얼미터는 반대로 1주일 전에 비해 다시 4.2% 반등했다는 기사를 릴리즈하면서, 많은 유권자들과 언론은 혼란스럽지 않을 수 없었다. 리얼미터는 한 주 전에는 6.4% 하락했으나, 다시 반등했고, 글로벌리서치는 리얼미터가 반등했다고 발표한 주에 무려 13.7%가 하락했다고 발표했으니까 말이다.
왜 이런 현상이 나타났을까? YTN은 보도당시 글로벌리서치의 3차 조사가 지난 2차 조사와 비교했을 때 설문의 문항이 바뀌었다(선호도=>지지도)고 밝혔고, YTN의 보도 다음날 발간된 매일경제 기사에 따르면, 글로벌리서치의 조사는 조사방법에 있어서도 전화면접 조사에서 ARS 조사로 변경됐다고 보도됐다. 필자가 대학원에서 사회조사방법론을 공부할 때 배운 바로는, 조사의 문항과 조사의 방법이 바뀌면 결코 이전 조사와 직접 비교하여 ‘급락’ 또는 ‘급상승’ 같은 표현을 할 수 없다고 배웠는데, YTN의 지난 4얼 19일자 보도는 그 원칙과는 거리가 다소 먼 보도였다. 이 전 시장의 지지율이 크게 빠지고 부동층의 비율이 크게 늘었는데, 지지율 변동의 이유가 이 전 시장 자체에 원인이 있는 것인지, 아니면 조사문항의 차이, 혹은 조사방법의 차이 때문인지 확신을 할 수 없기 때문이다.
또한 글로벌리서치의 이번 3차 조사방법이 ARS조사였다고 보도한, 매일경제의 기사가 사실이라면, ARS 조사를 10년이상 경험한 연구자로서 두 가지 의문을 제기하지 않을 수 없다. 첫 번째는 ARS조사로 하기에는 이번 글로벌리서치의 3차조사 문항수가 너무 많았고, 두 번째는 특정 후보의 지지율이 조정국면을 거치는 민감한 시기에서는 단 하루의 조사만을 가지고 지지율 급변을 단정하여 보도하기는 어렵다는 것이다. 더욱이 지난 2차 조사가 전화면접 조사였다면 ARS조사와 직접 비교를 하는 것이 무모할 수 있다. 필자가 알기에 글로벌리서치는 ARS 조사의 경험이 그리 많지 않기 때문이다. 이전 칼럼에서도 밝혔듯이 ARS 조사는 많은 시행착오와 그에 따른 조사비용이 투입되지 않고서는 안정적인 조사결과를 얻기가 어려운 조사방법이다. 그래서 경험이 있는 연구자에 의해 조사가 수행되어야 한다.
사실 공교롭게도 같은날 발표된 두 조사가 서로 상반된 결과를 나타냈고, YTN-글로벌리서치의 조사결과가 CBS-리얼미터의 조사결과보다 몇시간 앞서 보도가 됨으로써, 리얼미터는 당혹스러울 수 밖에 없었다. 더욱이 YTN은 뉴스 전문 케이블 채널로서 글로벌리서치의 3차 조사결과에 대해, 꽤 오랜 시간동안 톱뉴스로 집중적으로 보도했다. 반면 CBS에서는 1주일 사이에 등락을 거듭한 이 전 시장의 지지율 변동과 글로벌리서치의 상반된 조사결과 때문에 보도를 적극적으로 하지 않았고, 지지율 변동의 원인에 대해 면밀한 분석을 하기로 했다.
그리고 리얼미터는 1주일이 지나서 다시 주간 정례조사를 실시했고, 조사결과는 이 전 시장의 소폭 상승, 박근혜 전 대표의 소폭 하락이었지만, 변화의 폭이 워낙 작아 실상은 전주와 크게 다르지 않았다. 이명박 42.3% 대 박근혜 26.4%였다. 리얼미터는 결국 이 전 시장의 조정국면이 어느 정도 벗어난 것으로 추정하고 여느 때와 같이 보도자료를 릴리즈하였다. 향후의 추이는 4.25 재보선 결과에 대한 언론의 평가, 그리고 그 평가에 대한 유권자들의 의미부여가 마무리되는 월말께 다시 조사를 해봐야 알 수 있으리라.
돌이켜 보면 2주전 이 전 시장이 6.4%p 하락하면서 올들어 처음으로 30%대로 내려갔을 때, 필자가 보도자료에서 ‘급락’이라는 표현을 너무 쉽게 사용한 것이 아닌가 하는 생각이 든다. 작은 어감의 차이지만 받아들이는 유권자들 입장에서, 그리고 다른 조사기관에게 그러한 표현은 나비효과로 작용할 수도 있겠다 싶다. 리얼미터의 ‘급락’ 발표이후 공교롭게도 이후, 다른 조사기관들로부터 더 큰 폭의 급락소식이 연이어 들려왔을 때는, 리얼미터가 메신저의 역할에 만족하지 못하고, 그 순간 다른 조사기관, 일반 유권자들에게 메시지가 되고자 하지는 않았나 스스로 반문을 하게 되었다.
여론조사가 메신저 이상의 역할이 불가피할 때, 즉 메시지로서 역할을 불가피하게 하게 될 경우, 그 메시지는 왜곡된 메시지로 변질되어서는 안되고, 메신저로서의 역할을 충실히 견지하는 선에서의 메시지여야 한다. 과거 노무현-정몽준 후보 단일화가 여론조사로 결정이 났는데, 당시에 유력 조사기관들이 후보단일화 여론조사를 극력 사양했던 이유가, 바로 메시지로서의 역할이 주는 책임과 부담감 때문이었으리라.
필자는 이 글을 통해 리얼미터 스스로를 돌아보고, 비슷한 시기에 상반된 결과를 발표한 방송사와 여론조사 기관의 조사결과를 비교하면서, 앞으로는 가급적 메신저로서의 역할에 충실할 것을, 필자 스스로에게, 그리고 다른 여론조사 기관들과 여론조사 담당 기자들에게 요청하고 싶었다. 또한 그에 앞서 리얼미터에 대한 불필요한 오해와 뒷담화에 대해 나름대로 근거를 가지고 변론도 하였다. 리얼미터는 앞으로도 공정한 메신저가 될 것이고, 메시지 영역은 유권자들에게 꼭 필요할 경우에만 오버래핑 할 것을 약속 드린다.
여론조사 기관은 메신저다.
댓글목록
등록된 댓글이 없습니다.