Python에서 딥러닝 기반 이미지 분류(Image Classification) – Keras/TensorFlow 사용법

 

서론: 이미지 분류의 현재와 Python의 역할

딥러닝 기반 이미지 분류는 이제 더 이상 연구실 전유물이 아니다.
스마트폰 앱, e-커머스, 제조 품질 검사, 의료 영상, 자율주행 — 거의 모든 산업에서 이미지 분류 모델이 사용된다.
Python은 풍부한 라이브러리와 커뮤니티 덕분에, 딥러닝 이미지 분류를 가장 쉽게 접근할 수 있는 언어다. 특히 TensorFlow와 Keras 조합은 배우기 쉽고, 프로덕션에서도 충분한 성능을 보여준다.

나는 과거 여러 프로젝트에서 Keras/TensorFlow 기반 분류 모델을 사용해봤고, 단순한 튜토리얼 이상의 실무적 통찰을 얻을 수 있었다. 이 글에서는 단순한 코드 예제 중심이 아니라, 현실에서 마주친 문제와 최적화 팁까지 포함해 깊이 있게 정리하려 한다.

---

1. 기본 구조 – Keras/TensorFlow로 이미지 분류 모델 만들기

딥러닝 기반 이미지 분류 모델의 기본 워크플로우는 대체로 다음과 같다.

1. 데이터 수집 및 정리
2. 데이터 전처리 및 증강(Data Augmentation)
3. 모델 정의(Architecture 설계)
4. 모델 학습 및 검증
5. 평가 및 테스트
6. 모델 저장 및 실제 배포

TensorFlow + Keras 덕분에 위 흐름은 비교적 간단하게 구현할 수 있으며, 다음은 최소한의 코드 구조 예시이다.

from tensorflow.keras.preprocessing.image import ImageDataGenerator
from tensorflow.keras.applications import EfficientNetB0
from tensorflow.keras import layers, models
from tensorflow.keras.optimizers import Adam

# 데이터 로더 + augmentation
train_gen = ImageDataGenerator(rescale=1./255,
                               rotation_range=20,
                               width_shift_range=0.2,
                               height_shift_range=0.2,
                               horizontal_flip=True,
                               validation_split=0.2)

train_ds = train_gen.flow_from_directory('data/train',
                                         target_size=(224,224),
                                         batch_size=32,
                                         subset='training')
val_ds = train_gen.flow_from_directory('data/train',
                                       target_size=(224,224),
                                       batch_size=32,
                                       subset='validation')

# 사전 학습된 모델을 backbone으로 사용
base = EfficientNetB0(weights='imagenet', include_top=False, pooling='avg')
model = models.Sequential([
    base,
    layers.Dropout(0.5),
    layers.Dense(train_ds.num_classes, activation='softmax')
])

model.compile(optimizer=Adam(1e-4), loss='categorical_crossentropy', metrics=['accuracy'])

model.fit(train_ds, validation_data=val_ds, epochs=10)

이 구조만으로도 꽤 높은 정확도의 이미지 분류 모델을 빠르게 만들어낼 수 있다.

---

2. 실무에서 마주친 문제와 해결 – 내가 본 딥러닝 이미지 분류의 민낯

튜토리얼만으로는 잘 나타나지 않지만, 실제 프로젝트에서는 여러 문제가 반복된다. 이 문제들을 해결하면서 얻은 경험은 오히려 공식 문서보다 값진 자산이 된다.

  1) 데이터 불균형 문제

클래스 간 데이터 수가 크게 차이나면 모델이 특정 클래스에 치우치는 경향이 있다.
예: 정상 이미지 비율이 90%, 불량 이미지가 10%인 경우.

해결 전략

• Oversampling / Undersampling
• 클래스 가중치(class_weight) 설정
• Data Augmentation (증강 기법 다양화)

실제 프로젝트에서 class_weight만 추가해도 recall/precision 밸런스가 상당히 좋아진 경험이 있다.

  2) 과적합(Overfitting)

훈련 세트에서는 성능이 좋지만, 실제 운영 데이터에서 성능이 떨어지는 경우다.

해결 전략

• Dropout, L2 Regularization
• 데이터 augmentation 강화
• Early Stopping + 모델 checkpoint
• 가능한 한 실제 환경과 유사한 데이터 확보

특히 augmentation을 너무 단순하게 하면 실제 환경에서 다른 분포의 데이터가 들어왔을 때 민감하게 무너지는 경우가 많았다.

  3) 학습 속도 및 리소스 문제

고해상도 이미지 + 큰 배치 사이즈는 GPU 자원을 빨리 소모한다.
모델 학습 시간이 매우 길어지고, 때로는 메모리 부족으로 실패하기도 했다.

해결 전략

• 이미지 해상도를 224x224 또는 256x256 수준으로 제한
• 사전 학습된 모델 사용 (transfer learning)
• Mixed Precision Training 또는 Gradient Accumulation 사용

필자는 사전 학습된 모델 + transfer learning 조합만으로도 충분한 성능을 얻을 수 있었고, 자원이 부족한 환경에서도 효율적으로 학습을 돌릴 수 있었다.

---

3. 데이터 전처리 및 증강 – 분류 성능을 좌우하는 핵심 단계

 1) ImageDataGenerator로 가능한 것들

• 회전, 이동, 뒤집기, 줌 변경, 채도·명암 변화
• Brightness range를 설정하면 조명 변화에도 강한 모델을 만들 수 있다

내 경험으로는, 단순한 회전 + 좌우 반전 정도의 증강만으로는 실제 환경의 다양한 변동을 커버하기엔 부족했다. 특히 조명 변화, 색감 변화, 약간의 블러까지 포함한 복합 augmentation을 적용하자 모델 강건성이 눈에 띄게 올라갔다.

 2) 더 나아가 – CutMix, MixUp, Random Erasing

이미지 분류 분야에서 성능을 올릴 때 효과적인 기법들이다.
특히 객체의 일부가 가려진 경우에도 올바른 클래스로 인식할 수 있게 만들어주기 때문에, 실무 이미지가 완벽하지 않을 때 매우 유용했다.

---

4. 모델 선택 전략 – 어떤 경우에 어떤 모델을 쓸까?

• 작고 간단한 분류 → MobileNet, EfficientNet-B0
  → 연산 비용이 적고 속도가 빠르다. 모바일, 임베디드 환경에 적합
• 정밀한 분류 + 다양한 클래스 → ResNet50/101, EfficientNet-B3~B5
  → 표현력이 높고 복잡한 클래스 간 차이를 잘 구분
• Fine-grained 클래스 (ex. 옷 색상/패턴, 제품 결함)
  → 사전 학습된 백본 + 사용자 정의 레이어 + 충분한 데이터

필자는 실제 공장 검사 시스템에서는 EfficientNet-B0을 사용했고, 제품 분류 시스템에서는 EfficientNet-B3을 사용했다. 결과적으로 B0는 속도 우선, B3은 정확도 우선으로 우수한 균형을 보였다.

---

5. 배포 및 실제 운영 – 학습된 모델을 서비스에 연결하기

이미지 분류 모델이 완성됐다고 해서 끝이 아니다. 실제 운영 환경에서는 다음과 같은 요소들이 중요하다.

• 모델 저장 & 로드 (SavedModel, HDF5)
• REST API 서버 구축 (Flask / FastAPI)
• 이미지 전처리 파이프라인 통합
• 실시간 추론 vs 배치 추론 성능 고려
• 모델 업데이트 & 재학습 전략

내가 참여한 프로젝트에서는 Flask + Gunicorn + Nginx를 통해 API 서버를 구성했고,
API 응답 Latency를 300ms 이하로 유지하는 최적화를 통해 안정적인 운영 환경을 확보했다.

---

6. 결론 – Python + Keras/TensorFlow는 여전히 가장 효율적인 이미지 분류 플랫폼

이미지 분류는 단순한 기술이 아니라,
데이터 수집, 전처리, 모델 설계, 학습, 배포까지 연결된 복합 시스템 개발 프로젝트다.

Python + Keras/TensorFlow는 이 모든 단계를 통합적으로 관리할 수 있는 뛰어난 플랫폼이며,
내가 실제 프로젝트에서 겪은 다양한 문제들을 해결하게 해준 든든한 도구였다.

핵심은 튜토리얼에 나오는 코드보다,
데이터의 품질, augmentation 전략, 모델 튜닝, 운영 환경 최적화 —
이 네 가지를 얼마나 세심하게 관리하느냐에 달려 있다.

이미지 분류 프로젝트를 계획 중이라면, 이 글의 경험과 전략이 도움이 되기를 바란다.