사회과학 연구방법론-9 고급 조사방법론

조사 오차는 표본 크기 문제만이 아니다. 누가 답했는가와 무엇을 답했는가 양쪽에서 오차가 생기고, 그중 계산 가능한 것은 일부뿐이다.

어떻게 물을 것인가 — 수집 모드

• 조사원 관리형 — 면접, 전화. 통제가 되고 응답률이 높지만 사회적 바람직성 편향이 커진다. 사람 앞에서는 솔직해지기 어렵다.
• 자기 기입형 — 우편, 웹, 모바일. 익명성이 확보돼 민감한 질문에 유리하지만 응답률이 낮다.

대면 면접	응답률 높고 긴 설문·복잡한 질문 가능. 대신 비용과 시간이 크고 조사원 편향이 생긴다. 국가 통계, 심층 연구에 적합
전화	빠르고 중앙 통제가 쉽다. 유선전화 미보유층이 빠지는 커버리지 오차가 크고 긴 설문은 어렵다
웹·모바일	비용이 낮고 입력이 자동화된다. 인터넷 미사용층 배제로 대표성 문제가 생긴다. 특정 집단이나 패널 조사에 적합

최근에는 한 가지만 쓰지 않고 혼합 모드로 간다. 웹으로 먼저 돌리고 무응답자를 전화로 접촉하는 식이다. 커버리지와 비용을 동시에 잡으려는 접근인데, 모드에 따라 응답이 달라지는 문제(모드 효과)가 새로 생긴다.

총 조사 오차

이 틀의 요점은 표본을 늘려도 대부분의 오차는 줄지 않는다는 것이다. 표집 오차만 크기에 반응하고, 나머지는 설계와 실행의 문제다.

무응답을 줄이는 방법

1. 사전 안내 — 조사 목적과 소요 시간을 미리 알린다
2. 접촉 횟수 — 한 번에 포기하지 않고 시간대를 바꿔 재시도한다
3. 설문 길이 관리 — 길수록 중도 이탈이 급증한다
4. 보상 — 효과는 있으나, 특정 성향의 응답자를 끌어들일 수 있다

중요한 건 응답률 숫자 자체가 아니다. 응답자와 무응답자가 체계적으로 다른가가 문제다. 응답률이 낮아도 양쪽이 비슷하면 편향은 작다.

내 해석

총 조사 오차 도표는 측정 시스템 분석(MSA)과 구조가 비슷하다. 측정값의 산포를 부품 자체의 산포와 측정 시스템의 산포로 나누고, 후자를 다시 반복성과 재현성으로 쪼개는 방식이다. 오차를 뭉뚱그리지 않고 원천별로 분해한다는 발상이 같다.

모드 효과도 낯설지 않다. 같은 치수를 캘리퍼로 잴 때와 3차원 측정기로 잴 때 값이 다르게 나오는 것과 비슷하다. 측정 도구를 바꾸면 데이터의 연속성이 끊긴다.

다만 사회조사가 더 곤란한 지점이 있다. 기계 측정은 도구를 통일하면 되지만, 조사는 모드마다 접근 가능한 사람이 달라서 한 가지로 통일하면 특정 집단이 통째로 빠진다. 그래서 혼합 모드를 쓰면서 모드 효과를 감수하는 것으로 이해했다.

요약

모드 선택	조사원 관리형(응답률↑, 바람직성 편향↑) vs 자기 기입형(익명성↑, 응답률↓)
혼합 모드	커버리지와 비용을 잡는 대신 모드 효과를 감수
총 조사 오차	대표성 오차(커버리지·표집·무응답) + 측정 오차(질문·응답·처리)
핵심	표본을 늘려 줄어드는 건 표집 오차뿐 — 나머지는 설계로 통제
무응답	응답률 숫자보다 응답자와 무응답자의 체계적 차이가 문제

강의와 조사방법론 교재의 내용을 정리한 것이며, 원문 인용이 아닙니다.