머신러닝 모델의 과적합과 과소적합 이해하기

✅ 서론: 왜 과적합과 과소적합을 이해해야 할까?

머신러닝(Machine Learning)을 실무에 적용할 때 가장 자주 마주치는 문제 중 하나가 바로 **과적합(Overfitting)**과 **과소적합(Underfitting)**입니다. 이 두 개념은 모델의 성능에 지대한 영향을 미치며, 예측 정확도 저하, 일반화 실패 등의 문제를 야기합니다.

모델이 데이터를 얼마나 잘 학습하느냐에 따라 학습곡선은 크게 세 가지 유형으로 나뉩니다. 너무 덜 학습한 경우는 과소적합, 너무 많이 학습하여 훈련 데이터에만 최적화된 경우는 과적합, 그리고 적절히 학습하여 새로운 데이터에서도 좋은 성능을 보이는 경우가 이상적입니다.

---

🧠 과적합(Overfitting)이란?

📌 정의

과적합은 모델이 훈련 데이터의 패턴뿐 아니라 노이즈나 예외까지 지나치게 학습하여, 테스트 데이터나 실제 환경에서는 성능이 떨어지는 현상을 말합니다.

📌 특징

• 훈련 데이터 정확도는 높지만 테스트 데이터에서는 성능 저하
• 복잡한 모델 구조 (깊은 신경망, 높은 차원의 다항식 등)에서 주로 발생
• 일반화 성능이 낮음

📌 원인

• 데이터가 적은데 모델이 너무 복잡할 때
• 학습 에폭이 지나치게 많을 때
• 불필요한 피처(Feature)가 많을 때

---

📉 과소적합(Underfitting)이란?

📌 정의

과소적합은 모델이 훈련 데이터를 제대로 학습하지 못한 상태로, 패턴을 잡아내지 못해 예측력이 떨어지는 문제입니다.

📌 특징

• 훈련 데이터에서도 정확도가 낮음
• 모델이 지나치게 단순하거나 학습 시간 부족
• 데이터의 특성을 충분히 반영하지 못함

📌 원인

• 너무 단순한 모델 사용 (예: 선형 회귀로 복잡한 문제 해결 시)
• 학습 시간 부족 또는 학습률이 너무 낮음
• 적절한 특성 추출이나 전처리 부족

---

📊 과적합과 과소적합 비교

구분	과적합	과소적합
정의	훈련 데이터에 과도하게 적합	데이터 학습 부족
훈련 정확도	매우 높음	낮음
테스트 정확도	낮음	낮음
일반화 성능	나쁨	나쁨
해결 방법	정규화, 드롭아웃, 단순화	모델 복잡도 증가, 학습 시간 증가

 

🛠️ 과적합을 해결하는 방법

1. 더 많은 데이터 확보

모델이 데이터에 너무 치우치지 않도록 다양한 데이터를 확보하여 학습합니다.

2. 정규화 기법 사용

L1, L2 정규화를 통해 과도한 가중치 업데이트를 억제하여 모델 복잡도를 제한합니다.

3. 드롭아웃(Dropout)

딥러닝에서 자주 사용하는 기법으로, 학습 중 일부 뉴런을 임의로 제거하여 과적합을 방지합니다.

4. 조기 종료(Early Stopping)

검증 성능이 일정 기준 이하로 떨어지면 학습을 중단하여 과적합을 방지합니다.

5. 모델 단순화

불필요하게 복잡한 모델 대신 더 단순한 구조로 전환합니다.

---

🛠️ 과소적합을 해결하는 방법

1. 모델 복잡도 증가

단순한 모델에서 더 많은 계층과 뉴런을 추가하여 복잡도를 높입니다.

2. 특성 엔지니어링 강화

더 의미 있는 피처를 생성하여 모델이 데이터 패턴을 잘 학습하도록 돕습니다.

3. 학습 시간 연장

더 오랜 시간 학습하거나, 더 많은 에폭을 사용합니다.

4. 하이퍼파라미터 조정

학습률, 배치 크기, 정규화 계수 등을 조절하여 성능을 개선합니다.

---

🔍 실제 사례로 살펴보는 과적합과 과소적합

✅ 사례 1: 이미지 분류 딥러닝

• CNN 모델을 훈련시킬 때 드롭아웃 없이 장시간 학습하면 훈련 정확도는 99%지만 테스트 정확도는 70%로 떨어지는 현상 발생 → 과적합

✅ 사례 2: 주택 가격 예측

• 단순한 선형 회귀 모델로 복잡한 부동산 시장 예측을 시도할 때 전반적으로 낮은 정확도 발생 → 과소적합

✅ 사례 3: 자연어 처리

• Transformer 기반 모델이 훈련 데이터(뉴스 기사)에서는 좋은 성능이지만 다른 도메인(트위터, 블로그)에서는 정확도 하락 → 데이터 분포 불일치로 인한 과적합

---

🤖 과적합과 과소적합은 어떻게 평가할까?

🔸 학습 곡선(Learning Curve) 분석

훈련 손실과 검증 손실을 비교하여 모델이 학습되는 방식과 시점을 파악할 수 있습니다.

• 과적합일 경우: 훈련 손실은 낮고, 검증 손실은 점점 증가
• 과소적합일 경우: 훈련 손실과 검증 손실 모두 높은 상태 유지

🔸 교차 검증(Cross Validation)

데이터를 여러 세트로 나누어 평가함으로써 모델의 일반화 성능을 객관적으로 측정할 수 있습니다.

---

✅ 결론: 좋은 모델이란 적절한 균형을 갖춘 모델

머신러닝에서 궁극적인 목표는 학습 데이터와 실제 데이터 모두에 대해 잘 작동하는 모델을 만드는 것입니다. 이를 위해서는 과적합과 과소적합 사이의 균형점을 잘 찾아야 하며, 다양한 기법과 경험적 조정을 통해 모델 성능을 지속적으로 개선해야 합니다.

모델을 개발할 때 단순히 높은 정확도를 추구하기보다는, 데이터 분포, 특성, 목표에 따라 적절한 복잡도와 학습 전략을 설계하는 것이 핵심입니다.

---

❓ 자주 묻는 질문 (FAQ)

Q1. 과적합을 완전히 피할 수는 없나요?

A1. 완전히 피하기보다는 과적합을 줄이면서 일반화 성능을 높이는 방향으로 설계해야 합니다.

Q2. 과소적합이 발생하면 데이터를 더 많이 모아야 하나요?

A2. 데이터 추가도 방법이지만, 모델 복잡도 증가나 특성 강화로도 충분히 해결할 수 있습니다.

Q3. 정규화와 드롭아웃을 동시에 사용해도 되나요?

A3. 가능합니다. 두 기법은 목적이 다르며 서로 보완적으로 작용할 수 있습니다.