사회과학 연구방법론-7 사회과학 측정론 심화

측정론의 핵심 질문은 두 가지다. “몇 번을 재도 같은 값이 나오는가”(신뢰도)와 “재려던 것을 재고 있는가”(타당도). 둘은 다른 문제다.

양화 — 왜 숫자로 바꾸는가

양화(quantification)는 사회 현상의 속성을 수량으로 표현하는 작업이다. 굳이 숫자로 바꾸는 이유는 두 가지다.

• 정밀성 — “만족도가 높다”에서 “얼마나 높은가”로 넘어갈 수 있다.
• 통계적 조작 — 관계의 강도와 유의성을 계산할 수 있다.

조작화의 네 단계

① 개념화	용어의 의미를 말로 명확히 한다. 예 — “사회경제적 지위(SES)는 개인의 경제적·사회적 위치의 결합이다”
② 지표 선정	개념을 드러내는 관찰 가능한 징표를 고른다. 예 — 소득, 교육 수준, 직업 위신
③ 조작적 정의	어떻게 측정할지 절차를 못 박는다. 예 — “월 소득은 세전 기준 만 원 단위로 기입”
④ 변수 구성	측정값의 범위와 수준을 정한다

③이 특히 중요하다. 조작적 정의가 없으면 다른 연구자가 같은 연구를 재현할 수 없다. “소득”이라고만 하면 세전인지 세후인지, 가구 단위인지 개인 단위인지에 따라 값이 달라진다.

측정 수준 네 가지

명목	분류만 가능. 혈액형, 지역, 성별. 크기 비교 불가
서열	순서는 있으나 간격이 일정하지 않음. 학력, 만족도 순위. 1등과 2등의 차이가 2등과 3등의 차이와 같다고 볼 수 없다
등간	간격이 일정하나 절대영점이 없음. 섭씨온도, IQ. 비율 계산 불가 — 20℃가 10℃의 두 배로 덥다고 할 수 없다
비율	절대영점이 있어 배수 비교 가능. 소득, 나이, 근속연수

이 구분이 실무에서 중요한 이유는 쓸 수 있는 통계 기법이 달라지기 때문이다. 명목 변수에 평균을 내는 건 의미가 없다. 지역 코드의 평균값 같은 것이다.

신뢰도와 타당도

위 그림의 두 번째 과녁이 가장 위험하다. 일관되게 틀리고 있는 상태인데, 값이 안정적으로 나오니 잘 측정하고 있다고 착각하기 쉽다.

신뢰도를 확인하는 방법

• 재검사법 — 같은 대상에게 시차를 두고 다시 측정
• 반분법 — 문항을 반으로 나눠 두 결과를 비교
• 내적 일관성 — Cronbach’s α. 여러 문항이 같은 것을 재고 있는지 확인

타당도의 종류

내용 타당도	측정하려는 개념의 영역을 문항들이 고르게 덮고 있는가
기준 타당도	이미 검증된 다른 측정치와 잘 대응하는가
구성 타당도	이론이 예측하는 다른 변수들과의 관계가 실제로 나타나는가

복합 측정 — 지수와 척도

복잡한 개념은 문항 하나로 잡히지 않는다. 그래서 여러 문항을 묶는다.

• 지수(Index) — 여러 문항의 점수를 단순히 합산하거나 평균낸다. 항목 간 위계가 없을 때.
• 척도(Scale) — 항목에 강도의 순서가 있다. 앞 항목에 동의한 사람은 뒤 항목에도 동의할 가능성이 높은 구조.

내 해석

과녁 그림은 계측기 검·교정과 정확히 같은 개념이다. 기계 쪽에서는 이를 정밀도(precision)와 정확도(accuracy)로 부른다. 반복해서 같은 값이 나오는 것과, 참값에 가까운 것은 별개다.

현장에서 겪은 사례도 비슷했다. 특정 게이지로 잰 치수가 항상 일정하게 나와서 신뢰했는데, 기준기와 대조해보니 전부 같은 방향으로 어긋나 있었다. 신뢰도만 보고 타당도를 확인하지 않으면 이런 일이 생긴다.

다만 사회과학이 더 어려운 지점이 있다. 기계 계측에는 대조할 기준기가 있지만, “조직 몰입도”의 참값을 알려주는 기준기는 없다. 그래서 타당도를 여러 종류로 나눠 간접적으로 확인하는 것으로 이해했다.

요약

조작화 4단계	개념화 → 지표 선정 → 조작적 정의 → 변수 구성
측정 수준	명목 · 서열 · 등간 · 비율 — 쓸 수 있는 통계가 달라진다
신뢰도	재검사법 · 반분법 · Cronbach’s α
타당도	내용 · 기준 · 구성 타당도
가장 위험한 상태	신뢰도만 높은 경우 — 일관되게 틀리고 있는데 안정적이라 착각한다

강의와 사회과학 측정론 교재의 내용을 정리한 것이며, 원문 인용이 아닙니다.