Open‑Set Segmentation: ‘미지’ 객체 처리법

 

Open‑Set Segmentation이란 무엇인가?

컴퓨터 비전 분야에서 **Segmentation(분할)**은 이미지나 비디오의 각 픽셀을 특정 클래스에 할당하는 과정을 의미합니다. 전통적인 세분화 기법은 사전에 정의된 클래스 집합(closed-set) 내에서만 동작하며, 데이터셋에 포함되지 않은 객체나 환경을 만나면 오류를 일으킵니다. 그러나 실제 환경에서는 미지의 객체(unknown objects)가 빈번하게 등장합니다. 이를 해결하기 위해 등장한 개념이 바로 Open‑Set Segmentation입니다.

Open‑Set Segmentation은 모델이 훈련 데이터셋에 없는 새로운 클래스나 객체를 식별하고, 이를 **“알 수 없음(unknown)”**으로 처리하는 기술입니다. 이는 자율주행, 의료 영상 분석, 로봇 비전 등 안전성과 신뢰성이 중요한 분야에서 필수적입니다.

---

기존 세분화 기법과의 차이점

Closed‑Set Segmentation의 한계

기존의 세분화 모델(CNN 기반의 U‑Net, DeepLab 등)은 사전에 정의된 클래스에만 대응합니다. 예를 들어, 도로, 보행자, 차량만 학습한 모델은 갑자기 나타난 스쿠터를 보행자나 차량으로 잘못 분류할 가능성이 큽니다. 이러한 오류는 자율주행 차량처럼 실시간 의사결정이 필요한 시스템에 치명적일 수 있습니다.

Open‑Set Segmentation의 특징

Open‑Set Segmentation은 기존 클래스 외의 픽셀을 ‘미지’로 분류하여 잠재적 위험을 탐지할 수 있습니다. 이는 다음 두 가지 핵심 과제를 포함합니다.

1. 미지 탐지(Unknown Detection): 기존에 없던 객체의 픽셀을 찾아냄.
2. 알 수 없음 처리(Unknown Handling): 이를 별도의 카테고리로 표시하거나 후처리.

---

Open‑Set Segmentation의 주요 접근법

1. 불확실성 기반 접근

모델이 출력한 소프트맥스 확률에서 최대 확률 값이 낮을 때 해당 픽셀을 ‘미지’로 간주하는 방식입니다. 이 기법은 계산 비용이 적고 구현이 간단하지만, 잘못된 확신(false confidence)에 취약합니다.

2. Outlier Exposure

훈련 시 외부 데이터셋의 이질적인 샘플(outlier)을 노출시켜 모델이 미지를 탐지하도록 학습합니다. 대표적인 예로 OpenMax가 있으며, 이미지 분류에 적용된 후 세분화로 확장되었습니다.

3. Generative Approaches

GAN(Generative Adversarial Network)이나 VAE(Variational Autoencoder)를 사용하여 훈련 데이터 분포를 모델링하고, 분포에 속하지 않는 입력을 ‘미지’로 탐지합니다.

4. Post‑Processing Techniques

세분화 결과의 연속성과 공간적 일관성을 고려해 ‘미지’ 영역을 보정하는 방법입니다. Conditional Random Fields(CRF)나 Morphological Operation이 사용됩니다.

---

적용 분야 및 사례

자율주행 시스템

도로 위에서 예상치 못한 객체(예: 낙하물, 동물)를 탐지하는 것은 안전에 직결됩니다. Open‑Set Segmentation은 이러한 객체를 미지로 표시해 긴급 대처를 가능하게 합니다.

의료 영상 분석

훈련 데이터셋에 없는 드문 병리학적 징후를 감지하는 데 활용됩니다. 예를 들어, 새로운 유형의 종양이나 염증이 미지로 표시될 수 있습니다.

로봇 비전

로봇이 산업 현장에서 새로운 도구나 장애물을 탐지하여 충돌을 피할 수 있도록 합니다.

---

Open‑Set Segmentation의 기술적 과제

클래스 불균형 문제

훈련 데이터는 대부분 ‘알려진’ 클래스의 픽셀로 이루어져 있어, ‘미지’ 클래스 탐지를 위한 충분한 샘플링이 어렵습니다.

실시간 처리 성능

미지를 탐지하기 위한 추가 연산이 발생하기 때문에, 자율주행이나 드론 등 실시간 응용 분야에서의 속도 확보가 중요합니다.

평가 지표의 부족

정확도(Accuracy)만으로는 미지 탐지의 성능을 평가하기 어렵습니다. 이에 따라 새로운 메트릭(예: AUROC, FPR@95TPR)이 사용됩니다.

---

미래 전망과 연구 방향

멀티모달 데이터 통합

카메라, 라이다(LiDAR), 레이더 등 다양한 센서 데이터를 통합하여 미지 탐지의 신뢰도를 높이는 연구가 활발히 진행 중입니다.

지속적 학습(Continual Learning)

미지로 탐지된 객체를 후속 학습에 활용해 모델의 적응력을 높이는 기술이 주목받고 있습니다.

경량화 모델

엣지 디바이스에서도 동작할 수 있는 경량화 Open‑Set Segmentation 모델 개발이 필요합니다. 이는 IoT 및 모바일 환경에 핵심적입니다.

---

결론

Open‑Set Segmentation은 컴퓨터 비전의 새로운 패러다임으로, 기존 세분화 기술의 한계를 극복하고 보다 안전하고 유연한 AI 시스템 구현을 가능하게 합니다. 특히 자율주행, 의료, 로봇 비전 등 안전성이 필수적인 분야에서 그 중요성이 점차 커지고 있으며, 향후 멀티모달 및 지속적 학습 기술과 결합해 진화할 것으로 기대됩니다.