사회과학 연구방법론-8 고급 조사방법론

표본 조사의 첫 번째 교훈은 크기가 아니다. 240만 명을 조사하고도 예측에 실패한 사례가 그 이유를 보여준다.

1936년, 240만 명이 틀렸다

미국 잡지 리터러리 다이제스트는 대통령 선거 예측을 위해 1,000만 장의 모의 투표용지를 배포하고 240만 명의 응답을 받았다. 당시로서는 압도적인 규모였다. 결과는 랜던 당선 예측이었고, 실제로는 루즈벨트가 압승했다.

원인은 표집틀에 있었다. 명부로 쓴 것이 전화번호부와 자동차 등록부였다. 대공황기에 전화와 자동차를 가진 사람은 상대적으로 부유했고, 그 계층의 정치 성향이 전체와 달랐다.

교훈은 명확하다. 표본의 크기보다 표본의 대표성이 중요하다. 편향된 명부에서 아무리 많이 뽑아도 편향은 그대로 남는다.

세 개의 원과 오차

모수 (Parameter)	모집단의 실제 값. 우리는 이것을 끝내 알 수 없다
통계치 (Statistic)	표본에서 얻은 값. 이것으로 모수를 추정한다
표집틀	실제로 표본을 뽑는 명부. 모집단과 어긋나는 만큼 커버리지 오차가 생긴다

연구 계획서에서 “모집단은 전국 성인”이라고 써놓고 실제로는 특정 패널에서만 뽑는 경우가 흔하다. 모집단과 표집틀을 구분해 적는 것만으로도 한계가 정직해진다.

확률 표집

모든 대상이 뽑힐 확률을 알 수 있어야 통계적 추론이 가능하다.

단순무작위	명부에서 완전 무작위 추출. 가장 단순하지만 완전한 명부가 필요하다
계통	일정 간격으로 추출. 명부에 주기적 패턴이 있으면 왜곡된다
층화	모집단을 하위 집단으로 나눈 뒤 각각에서 추출. 집단 간 차이가 클 때 정확도가 올라간다
집락	집단 단위로 뽑아 그 안을 전수 또는 재추출. 비용이 적게 들지만 오차는 커진다

비확률 표집

확률을 알 수 없는 방식이다. 편의·판단·할당·눈덩이 표집이 여기 속한다. 접근성이 좋고 비용이 적지만, 결과를 모집단으로 일반화할 수 없다. 탐색적 연구나 접근이 어려운 대상에 한정해 쓴다.

표본 크기와 오차

• 표본이 커질수록 표집오차는 줄지만 제곱근에 반비례한다. 오차를 절반으로 줄이려면 표본이 네 배 필요하다.
• 일정 규모를 넘으면 비용 대비 효과가 급격히 떨어진다.
• 표집오차는 통계로 계산되지만, 비표집오차(무응답, 측정 오류, 커버리지 오차)는 계산되지 않는다. 실제 오차는 발표된 오차범위보다 크다.

무응답 문제

응답률이 낮은 것 자체보다, 응답한 사람과 응답하지 않은 사람이 체계적으로 다를 때가 문제다. 바쁜 사람이 빠지거나, 관심 있는 사람만 답하면 결과가 기운다.

내 해석

표집틀 개념은 검사 로트 구성과 겹친다. 라인에서 샘플을 뽑을 때, 뽑기 편한 위치에서만 집어오면 표본이 커도 의미가 없다. 특정 캐비티나 특정 시간대만 반영되기 때문이다.

층화 표집은 실제로 유용했다. 설비 상태가 호기별로 다를 때 호기를 층으로 나눠 각각에서 뽑는 방식이 전체를 무작위로 뽑는 것보다 판단이 정확했다.

가장 인상적이었던 건 비표집오차는 계산되지 않는다는 부분이다. 여론조사 기사에서 “오차범위 ±3.1%p”를 보면 그것이 전체 오차인 줄 알기 쉬운데, 실제로는 계산 가능한 일부일 뿐이었다.

요약

1936년 교훈	표본 크기보다 표집틀의 대표성이 결정적
세 개념	모수(알 수 없음) · 통계치(추정에 사용) · 표집틀(커버리지 오차의 원천)
확률 표집	단순무작위 · 계통 · 층화 · 집락
비확률 표집	일반화 불가 — 탐색적 목적에 한정
가장 중요한 점	발표되는 오차범위는 표집오차만 — 무응답·측정 오류는 포함되지 않는다

강의와 조사방법론 교재의 내용을 정리한 것이며, 원문 인용이 아닙니다.