편미분·경사하강법 탐구주제: 딥러닝은 왜 경사를 따라 내려갈까

딥러닝이 '학습한다'는 건 사실 손실이라는 산에서 가장 낮은 골짜기를 찾아 한 걸음씩 내려가는 일입니다. 그 걸음의 방향을 알려주는 나침반이 바로 미분, 경사하강법입니다.

수학 원리로 들여다보기

손실함수를 간단히 L(w)=(w−3)²라 하면, 기울기는 도함수 L'(w)=2(w−3)입니다. 경사하강법은 기울기 반대 방향으로 학습률 η만큼 이동합니다.

w ← w − η·L'(w) = w − η·2(w−3)

η=0.1, 시작값 w=0에서 두 걸음을 밟아 보면

1걸음: 0 − 0.1×2×(0−3) = 0 + 0.6 = 0.6
2걸음: 0.6 − 0.1×2×(0.6−3) = 0.6 + 0.48 = 1.08

값이 점점 최솟점 w=3으로 다가갑니다. 실제 딥러닝은 변수가 수백만 개라 각 방향의 편미분으로 기울기를 구할 뿐, 원리는 똑같습니다. 학습률 η가 너무 크면 골짜기를 건너뛰어 발산하고, 너무 작으면 한없이 느려집니다.

손실함수를 편미분해 경사하강법 갱신식을 세우고 반복 계산으로 최솟점 수렴을 확인하였으며, 학습률에 따른 수렴·발산 양상을 분석하여 미분이 딥러닝 최적화의 핵심 원리임을 규명함.

이 단원, 아는데 자꾸 틀리나요? 오답 유형부터 진단해요.

키워드 편미분경사하강법최적화