사회과학 연구방법론-10 사회과학 데이터 분석 및 해석론

분석에서 가장 흔한 오해는 “통계적으로 유의하다”를 “중요하다”로 읽는 것이다. 둘은 다른 말이다.

분석보다 전처리가 먼저다

기법을 아무리 정교하게 써도 들어간 자료가 엉망이면 결과도 엉망이다. 전처리에서 판단이 필요한 지점은 두 가지다.

결측치 — 왜 빠졌는지를 봐야 한다

MCAR	완전 무작위 결측. 빠진 이유가 다른 변수와 무관하다. 삭제해도 편향이 생기지 않는다
MAR	다른 관측 변수와 관련된 결측. 예 — 특정 집단이 체중 응답을 자주 건너뜀. 해당 변수로 보정 가능
MNAR	결측 자체가 정보인 경우. 예 — 소득이 아주 높거나 낮은 사람이 응답을 거부. 삭제하면 편향이 생긴다

결측이 있는 행을 그냥 지우는 것이 기본값처럼 쓰이지만, MNAR이면 그 순간 표본이 기운다. 평균으로 채우는 방식도 분산을 인위적으로 줄인다는 문제가 있어, 다중 대체가 표준으로 자리 잡았다.

이상치 — 오류인가 실제인가

연봉 100억이 찍혔을 때 그것이 입력 오류인지 실제 존재하는 극단값인지부터 판단해야 한다. 오류면 수정하고, 실제라면 함부로 지우면 안 된다. 극단값을 일정 분위수로 눌러주는 윈저라이징을 쓰거나, 포함/제외 두 경우를 모두 보고하는 방식이 정직하다.

p값이 답하는 것과 답하지 않는 것

p값은 “귀무가설이 참이라면 이런 결과가 나올 확률”이다. 여기에 담기지 않은 것들이 있다.

• 효과의 크기 — 차이가 얼마나 큰지는 말해주지 않는다
• 실질적 중요성 — 통계적으로 유의해도 현실에서 무의미할 수 있다
• 가설이 참일 확률 — p값은 이것이 아니다. 가장 흔한 오해다

특히 표본이 매우 크면 아주 작은 차이도 유의하게 나온다. 그래서 p값과 함께 효과크기(Cohen’s d, r², β 등)와 신뢰구간을 봐야 한다.

해석 단계의 함정

1. 상관을 인과로 읽기 — 세 번째 변수가 둘 다에 영향을 줄 수 있고, 인과 방향이 반대일 수도 있다
2. p-해킹 — 유의한 결과가 나올 때까지 변수를 바꿔가며 돌리기. 사전 등록으로 막는다
3. HARKing — 결과를 보고 나서 가설을 만들고 원래 그랬던 것처럼 쓰기
4. 생태학적 오류 — 집단 수준의 관계를 개인에게 그대로 적용하기
5. 유의하지 않음 = 효과 없음 — 검정력이 부족했을 수도 있다

내 해석

2×2 표에서 오른쪽 아래 칸이 특히 와닿았다. 데이터가 많아질수록 사소한 차이가 유의해진다는 건, 설비 로그를 다룰 때 실제로 겪는 일이다. 수만 건의 사이클 데이터를 비교하면 거의 모든 항목에서 “유의한 차이”가 나온다. 그런데 그 차이가 0.02mm면 공차 안이라 아무 의미가 없다.

그래서 기계 쪽에서는 유의성보다 공차 대비 얼마인가를 먼저 본다. 사회과학의 효과크기가 같은 역할을 하는 개념으로 이해했다.

MNAR 개념도 새로웠다. 설비 데이터에서도 센서가 이상 상태일 때 값이 안 찍히는 경우가 있는데, 그 결측을 지우면 정작 문제 구간이 통째로 사라진다. 결측 자체가 정보라는 말이 그대로 적용된다.

요약

전처리	결측 유형(MCAR/MAR/MNAR) 판단이 삭제 여부를 결정
이상치	오류인지 실제인지 먼저 — 포함/제외 결과를 함께 보고
p값의 한계	효과 크기·실질 중요성·가설이 참일 확률을 말해주지 않는다
함께 볼 것	효과크기와 신뢰구간
해석 함정	상관≠인과 · p-해킹 · HARKing · 생태학적 오류 · 무의미≠무효과

강의와 통계·연구방법론 교재의 내용을 정리한 것이며, 원문 인용이 아닙니다.