AI 수학, 네 기둥만 먼저 세운다 — 내가 잡은 로드맵

AI 공부를 시작하면 누구나 같은 벽을 만난다. 논문과 교재가 요구하는 수학의 범위가 어디까지인지 가늠이 안 된다는 것. 전부 다 하려면 수년이 걸리고, 건너뛰면 코드가 주문이 된다. 내가 잡은 기준은 하나다 — “이 수학이 없으면 어떤 코드 한 줄을 이해 못 하는가”를 역으로 추적하는 것.

네 기둥과 그 이유

① 선형대수 — 신경망의 모든 연산은 결국 행렬 곱이다. 벡터·행렬·내적·고유값까지가 1순위. 텐서의 shape 에러를 읽을 수 있게 되는 게 첫 목표다.

② 미분(그중 편미분과 연쇄법칙) — 역전파는 연쇄법칙 그 자체다. 적분보다 미분이 압도적으로 중요하고, 그래디언트가 “가장 가파른 방향”이라는 기하적 감각이 핵심이다.

③ 확률·통계 — 손실함수의 정체가 여기서 나온다. 크로스 엔트로피가 왜 분류의 손실인지, 최대우도가 뭔지 알면 손실함수를 외우지 않고 이해하게 된다.

④ 최적화 기초 — 경사하강법, 학습률, 수렴. 볼록/비볼록의 차이 정도까지만 있어도 하이퍼파라미터 튜닝이 감이 아니라 판단이 된다.

순서와 깊이에 대한 결론

순서는 선형대수 → 미분 → 확률 → 최적화. 단, 각 기둥을 “완주”하고 다음으로 넘어가는 게 아니라, 파이썬 코드로 확인되는 지점까지만 파고 다음으로 넘어간다. 예컨대 고유값 분해는 손으로 3×3까지 풀어보고, 나머지는 NumPy로 확인하는 식이다. 수학을 위한 수학으로 새지 않는 것 — 그게 엔지니어의 수학 공부라고 결론 내렸다.

다음 글에서는 선형대수 첫 구간(벡터와 내적)을 코드와 함께 정리한다.