사회과학 연구방법론-12 사회과학 연구방법론 심화

“관계가 있다”와 “원인이다”는 다른 주장이다. 인과를 말하려면 세 가지 조건을 모두 충족해야 하는데, 설문 한 번으로는 두 개를 채울 수 없다.

인과관계의 세 조건

공변	X가 변할 때 Y도 변한다. 상관계수로 확인되는 부분이며 가장 쉬운 조건
시간적 선행	X가 Y보다 먼저 발생해야 한다. 단면 조사에서는 확인 불가 — 역인과 가능성이 남는다
비허위성	제3의 변수가 둘 다를 설명하는 게 아니어야 한다. 가장 어렵고, 완전히 배제할 수 없다

허위 관계의 예

아이스크림 판매량과 익사 사고 건수는 함께 오른다. 그러나 인과가 아니다. 기온이라는 제3의 변수가 둘 다에 영향을 준다.

실제 연구에서는 이렇게 명백한 경우가 드물다. 그래서 이론적으로 관련될 만한 변수를 통제변수로 넣는 방식으로 대응한다. 다만 이 방법의 한계는 분명하다. 내가 생각하지 못한 변수는 통제할 수 없다.

실험설계 — 무작위 배정의 힘

실험이 강력한 이유는 무작위 배정에 있다. 대상을 무작위로 처치군과 통제군에 나누면, 관측되지 않은 변수까지 포함해 두 집단이 통계적으로 같아진다. 생각하지 못한 변수도 함께 균형이 맞는다.

진실험	무작위 배정 + 통제군 + 사전·사후 측정. 내적 타당도가 가장 높다
준실험	무작위 배정이 불가능할 때. 이미 나뉜 집단을 비교하므로 집단 간 사전 차이가 위협 요인
단일집단 사전사후	통제군이 없어 성숙·역사 효과를 배제할 수 없다

내적 타당도를 위협하는 것들

• 역사 — 실험 기간 중 외부 사건이 일어남
• 성숙 — 시간이 지나며 대상 자체가 변함
• 검사 효과 — 사전 검사가 사후 결과에 영향
• 선택 편향 — 두 집단이 처음부터 달랐음
• 탈락 — 중도 이탈이 한쪽 집단에 몰림
• 평균으로의 회귀 — 극단값을 가진 대상을 뽑으면 처치 없이도 평균 쪽으로 이동

내적 타당도와 외적 타당도의 상충

실험실 환경을 엄격히 통제할수록 내적 타당도(인과 주장의 확실성)는 올라가지만, 현실과 멀어져 외적 타당도(일반화 가능성)는 떨어진다. 둘을 동시에 최대화할 수 없어, 연구 목적에 따라 어느 쪽에 무게를 둘지 정해야 한다.

내 해석

세 조건 중 비허위성이 가장 어렵다는 점이 인상적이었다. 설비 쪽에서도 같은 문제가 있다. 특정 공정 조건을 바꾸고 불량률이 떨어졌을 때, 그게 정말 그 조건 때문인지 확신하기 어렵다. 같은 시기에 원자재 로트가 바뀌었거나 작업자가 교체됐을 수 있다.

그래서 실험계획법(DOE)에서 인자를 무작위 순서로 돌리는 이유를 이제야 제대로 이해했다. 순서대로 실험하면 시간에 따른 변화(공구 마모, 온도 상승)가 인자 효과와 섞인다. 무작위화는 모르는 변수를 흩어놓는 장치다.

내적/외적 타당도의 상충도 익숙하다. 실험실 시험 조건에서는 잘 나오는데 현장에서는 재현이 안 되는 경우가 그렇다. 어느 쪽을 택할지는 그 데이터로 무엇을 주장할 것인가에 달렸다.

요약

세 조건	공변 · 시간적 선행 · 비허위성 — 셋 다 필요
단면 조사의 한계	선행과 비허위성을 확보하기 어려움 → 인과 단정 불가
무작위 배정	관측하지 못한 변수까지 균형을 맞추는 유일한 장치
내적 타당도 위협	역사 · 성숙 · 검사 효과 · 선택 편향 · 탈락 · 평균 회귀
상충 관계	내적 타당도(확실성) ↔ 외적 타당도(일반화) — 목적에 따라 선택

강의와 연구방법론 교재의 내용을 정리한 것이며, 원문 인용이 아닙니다.