사회과학 연구방법론-3 조사방법론

설문지는 현실을 그대로 비추는 창문이 아니다. 굴절시킬 수 있는 렌즈다. 질문을 잘못 만들면 아무리 많이 모아도 왜곡된 데이터가 쌓인다.

연구자의 딜레마

조사의 근본 문제는 간단하다. 연구자가 묻고 싶은 것과 응답자가 대답할 수 있는 것 사이에 간극이 있다는 것이다.

연구자는 “조직 몰입도”를 알고 싶지만, 응답자는 그런 단어로 자기 상태를 생각해본 적이 없다. 이 간극을 메우는 작업이 조작화다.

개념에서 문항까지

“직무 만족도가 높은가”를 한 문항으로 물으면 무엇을 잰 것인지 알 수 없다. 급여에 만족하는 사람과 동료 관계에 만족하는 사람이 같은 점수로 묶인다.

그래서 복합 개념은 반드시 여러 문항으로 나눠 측정한다. 그 문항들이 실제로 같은 것을 재고 있는지는 신뢰도 계수(Cronbach’s α)로 확인한다.

질문 형태의 선택

개방형	응답자의 언어를 그대로 얻고 예상 못한 답을 발견할 수 있다. 대신 코딩이 어렵고 무응답률이 높다. 탐색적 연구나 “기타” 항목에 적합
폐쇄형	분석이 쉽고 응답 부담이 적다. 대신 보기에 없는 답은 사라진다. 응답 범주가 상호배타적이고 총망라적이어야 함

질문지를 망치는 것들

1. 이중 질문(Double-barreled) — “급여와 복지에 만족하십니까?” 급여는 불만, 복지는 만족이면 답할 수 없다.
2. 유도 질문 — “많은 전문가들이 지적하는 이 문제에 동의하십니까?” 답이 정해져 있다.
3. 이해 못 할 용어 — 응답자가 모르는 전문어를 쓰면 아무 답이나 찍는다.
4. 기억에 없는 것을 묻기 — “작년 한 해 동안 몇 번 이용하셨습니까?” 정확히 기억하는 사람은 드물다.
5. 사회적 바람직성 편향 — 음주량, 소득, 편견처럼 솔직히 답하기 불편한 주제는 실제와 다르게 나온다.

순서와 맥락도 답을 바꾼다

• 점화 효과 — 앞 문항이 뒤 문항의 답에 영향을 준다. 정치 성향을 먼저 물으면 이후 정책 평가가 달라진다.
• 민감한 질문은 뒤로 — 라포가 형성된 후에 배치한다.
• 일반→구체 순서 — 반대로 하면 구체적 항목이 일반 평가를 좌우한다.

측정 오차의 두 종류

무작위 오차	방향 없이 흩어지는 오차. 표본을 늘리면 상쇄된다
체계적 오차	한 방향으로 쏠리는 오차. 표본을 늘려도 사라지지 않는다. 잘못된 질문지가 만드는 오차가 여기 해당

이 구분이 중요한 이유는, 응답을 아무리 많이 모아도 질문이 틀렸으면 소용이 없기 때문이다.

내 해석

측정 오차의 두 종류를 보면서 계측기 교정이 떠올랐다. 반복 측정하면 흩어지는 산포는 평균으로 줄일 수 있지만, 영점이 어긋난 게이지는 100번을 재도 같은 방향으로 틀린다. 설문 문항이 바로 그 게이지다.

현장에서 만족도 조사를 돌릴 때도 비슷한 걸 느꼈다. “이번 개선 활동에 만족하십니까”를 팀장이 배포하면 점수가 높게 나온다. 문항이 아니라 수집 경로가 편향을 만든 경우다.

다만 사회적 바람직성 편향을 어떻게 실무적으로 줄이는지는 아직 잘 모르겠다. 익명화 정도로 충분한지 확인이 필요한 부분이다.

요약

핵심 문제	연구자의 질문과 응답자의 답할 수 있는 능력 사이의 간극
조작화	개념 → 차원 분해 → 지표 → 문항. 복합 개념은 다중 문항으로
질문 형태	개방형(발견) vs 폐쇄형(분석 용이) — 목적에 따라 선택
피할 것	이중 질문 · 유도 질문 · 어려운 용어 · 기억 밖 질문 · 바람직성 편향
가장 중요한 것	체계적 오차는 표본을 늘려도 사라지지 않는다

강의와 조사방법론 교재의 내용을 정리한 것이며, 원문 인용이 아닙니다.