학습률(Learning Rate)
앞의 경사하강법에서 시작점에서 다음점으로 이동할 때 보폭(학습률) 만큼 이동한 점을 다음점으로 정한다고 하였습니다. 학습률인란, 현재점에서 다음점으로 얼만큼 이동할지, 다르게 말하면 모델이 얼마나 세세하게 학습을 할지를 말합니다.
학습률이 작다면 손실이 최적인 가중치를 찾는데 오랜 시간이 걸릴 것이며, 학습률이 너무 크다면 최적점을 무질서하게 이탈할 수도 있습니다.
초매개변수(Hyperparameter)
학습률과 같이 우리가 직접 조정하는 값을 초매개변수라 합니다. 우리는 직접 학습률을 여러 개 대입하여 가장 효율적이게 학습을 하는 학습률을 찾아야 합니다.
'Muchine Learning > Google MLCC' 카테고리의 다른 글
| 05-01 일반화: 과적합과 일반화 (0) | 2018.08.13 |
|---|---|
| 03-03_손실 줄이기: 확률적 경사하강법(Stochastic Gradient Descent) (0) | 2018.08.12 |
| 03-02_손실 줄이기: 경사하강법Gradient Descent) (0) | 2018.08.12 |
| 03-01_손실 줄이기: 반복 방식 (0) | 2018.08.12 |
| 02-02_ML로 전환하기: 학습 및 손실 (0) | 2018.08.11 |