warm-up 학습 전략 썸네일형 리스트형 딥러닝 모델의 학습률 조정 전략 🧠 학습률이란 무엇인가?딥러닝에서 모델을 학습시킬 때 가장 핵심적인 하이퍼파라미터 중 하나는 **학습률(Learning Rate)**입니다. 학습률은 경사하강법(Gradient Descent) 기반 최적화 알고리즘에서 가중치를 얼마나 빠르게 업데이트할지를 결정하는 값으로, 너무 크면 발산하고 너무 작으면 수렴 속도가 지나치게 느려질 수 있습니다.딥러닝 모델의 성능은 학습률의 설정에 따라 크게 달라지며, 효율적인 학습률 조정은 수렴 속도 향상, 안정적인 학습, 더 높은 정확도 달성에 직결됩니다.📈 학습률이 모델 학습에 미치는 영향1. 학습률이 너무 클 경우손실 함수가 최솟값에 도달하지 못하고 튕겨 나가며 발산학습 불안정 또는 완전 실패 가능정확도 하락, 훈련 중 Nan 오류 발생2. 학습률이 너무 작을.. 더보기 이전 1 다음
