Momentum in DeepLearning  ^[draft]

모멘텀의 기본 개념과 직관적 이해

물리학에서의 모멘텀과 딥러닝에서의 적용

물리학에서 모멘텀(momentum)이란 질량과 속도의 곱으로 정의되는 물리량으로, 물체의 운동 상태를 나타낸다. 이 개념이 딥러닝의 최적화 알고리즘에 어떻게 적용되는지 살펴보자.

물리적 세계에서는:

• 공이 경사진 언덕을 굴러 내려갈 때, 처음에는 천천히 움직이다가 점점 속도가 붙는다
• 속도가 붙은 공은 작은 장애물을 만나도 관성에 의해 멈추지 않고 계속 전진한다
• 움직이는 방향을 바꾸기 위해서는 이미 가지고 있는 관성을 극복해야 한다

딥러닝 최적화에서의 모멘텀도 이와 매우 유사하게 작동한다:

• 파라미터 업데이트가 일관된 방향으로 계속되면 더 큰 “속도"가 붙는다
• 이렇게 속도가 붙은 업데이트는 작은 지역적 장애물(지역 최소값, 노이즈)을 건너뛸 수 있다
• 이전 업데이트 방향의 정보를 기억하여 다음 업데이트에 반영한다

단순 경사 하강법의 한계

기본적인 경사 하강법(Gradient Descent)은 다음과 같은 문제점을 갖는다

1. 느린 수렴 속도

• 손실 함수의 경사가 완만한 지역에서는 매우 작은 스텝으로 이동한다
• 최적점까지 도달하는 데 많은 반복이 필요하다

2. 진동(oscillation) 문제

• 좁고 깊은 계곡 형태의 손실 함수에서는 경사가 양쪽으로 급격하게 변한다
• 파라미터가 계곡 양쪽을 왔다 갔다 하면서 진동하고, 최적점을 향해 효율적으로 진행하지 못한다

3. 지역 최소값에 쉽게 갇힘

• 경사만 고려하므로 조금만 오목한 지점에서 쉽게 갇힐 수 있다

4. 안장점(saddle point) 문제 고차원 공간의 안장점에서는 일부 방향의 경사가 0에 가까워져 빠져나오기 어렵다

모멘텀이 문제를 해결하는 방식

모멘텀이 어떻게 위 문제들을 해결하는지 직관적으로 이해해보자

1. 가속 효과

• 공이 언덕을 내려갈 때처럼, 일관된 방향으로의 업데이트는 “가속” 된다
• 평평한 지역(경사가 작은 곳)에서도 이전 업데이트의 관성으로 더 빠르게 진행한다

2. 진동 감소

• 좁은 계곡에서 진동할 때, 모멘텀은 마치 “평균화” 역할을 한다
• 이전 스텝들의 방향 정보가 누적되어 전체적인 하강 방향을 유지한다

3. 지역 최소값 탈출:

• 얕은 지역 최소값에서는 이미 가지고 있던 “속도” 로 인해 극복하고 빠져나갈 수 있다
• 마치 공이 작은 움푹 패인 곳을 지나쳐 가듯이 작동한다

모멘텀의 수학적 정의와 작동 원리

모멘텀 방정식 소개

모멘텀 방법은 기본 경사 하강법을 확장하여 이전 업데이트 방향의 정보를 활용하여 현재의 업데이트 방향을 정하는 방법이다.
수학적으로 다음과 같이 정의된다

1. 속도 벡터 업데이트 $$v_t = \gamma v_{t-1} + \eta \nabla J(\theta_t)$$

2. 파라미터 업데이트 $$\theta_{t+1} = \theta_t - v_t$$ 여기서,
   $v_t$: 현재 속도 벡터 (이전 그래디언트들의 기억)
   $\gamma$: 모멘텀 계수 (일반적으로 0.9 또는 0.99로 설정)
   $\eta$: 학습률
   $\nabla J(\theta_t)$: 현재 파라미터에서의 손실 함수 기울기
   

이 두 단계를 합치면 다음과 같이 표현할 수도 있다. $$\theta_{t+1} = \theta_t - \gamma v_{t-1} - \eta \nabla J(\theta_t)$$

모멘텀 계수($\gamma$)의 의미와 영향

모멘텀 계수 $\gamma$는 이전 속도의 영향력을 조절하는 하이퍼파라미터로, 0과 1 사이의 값을 가진다.

• $\gamma = 0$: 모멘텀이 없는 표준 경사 하강법과 동일
• $\gamma \approx 1$: 이전 속도의 영향이 매우 크게 유지됨

$\gamma$ 값에 따른 효과:

1. 큰 $\gamma$ 값(0.9~0.99)

• 장점: 장기적인 방향성 유지, 작은 지역 변동 무시
• 단점: 과도한 모멘텀으로 최적점을 지나칠 수 있음

2. 작은 $\gamma$ 값(0.5~0.8):

• 장점: 현재 기울기에 더 민감하게 반응
• 단점: 모멘텀의 이점이 줄어듦

모멘텀 vs 일반 SGD 비교 표