Open-vocabulary Detection: 개방형 라벨 구조 구현 방법

 

개요: 객체 탐지의 한계를 넘어서다

전통적인 객체 탐지(object detection)는 고정된 라벨 집합(closed vocabulary) 내에서만 동작합니다. 즉, 모델이 학습할 때 미리 정의된 클래스(예: 고양이, 자동차, 의자 등)만 인식할 수 있습니다. 하지만 실세계 환경은 예측 불가능한 대상, 변화하는 상황, 새로운 객체들이 끊임없이 등장하기 때문에, 고정된 라벨만으로는 유연한 탐지가 어렵습니다.

이러한 한계를 극복하기 위해 제시된 것이 **Open-vocabulary Detection(개방형 라벨 탐지)**입니다. 이 기술은 모델이 학습에 사용되지 않은 새로운 객체 클래스를 텍스트 설명을 통해 인식하고 탐지할 수 있도록 하는 접근법입니다.

---

Open-vocabulary Detection의 개념

Open-vocabulary Detection은 시맨틱한 라벨 표현과 멀티모달 학습을 활용하여 기존에 학습되지 않은 객체도 탐지할 수 있게 만듭니다. 기존 방식처럼 클래스 이름을 one-hot encoding하거나 정수 인덱스로 고정하는 대신, **자연어 임베딩(예: CLIP의 텍스트 임베딩)**을 활용하여 의미 기반의 탐지를 수행합니다.

이렇게 하면 새로운 객체 이름이 주어졌을 때, 해당 텍스트 벡터를 통해 모델이 시각적 특징과 의미적으로 매칭할 수 있게 됩니다.

---

구현 방식 단계별 설명

1. 이미지 및 텍스트 임베딩 모델 통합

Open-vocabulary Detection에서 가장 핵심이 되는 것은 이미지와 텍스트를 같은 임베딩 공간에 투영하는 것입니다. 이를 위해 흔히 사용되는 모델은 다음과 같습니다:

• CLIP (Contrastive Language–Image Pretraining): OpenAI가 개발한 모델로, 이미지와 텍스트를 동일한 벡터 공간에 매핑합니다.
• ALIGN: Google에서 발표한 이미지-텍스트 대규모 사전학습 모델.

이러한 모델을 기반으로, 객체 탐지기(예: Faster R-CNN, DETR 등)의 분류기(classifier) 부분을 임베딩 기반으로 변경해야 합니다.

2. Pretraining with Closed Labels

모델은 먼저 전통적인 방식으로 학습된 고정 라벨 기반 탐지기로 시작합니다. 예를 들어 COCO 데이터셋처럼 클래스가 명확히 정의된 이미지로 사전 학습을 진행합니다.

이후 이 라벨들을 텍스트 설명(예: "a cat", "a red sports car")으로 변환하여 자연어 벡터 공간으로 매핑하고, 이와 시각 피처를 매칭합니다.

3. 텍스트-비전 매핑 학습

각 객체의 이미지 피처와 해당 객체의 텍스트 라벨 간의 **코사인 유사도(Cosine Similarity)**를 계산하여 매칭 정도를 측정합니다. 이를 통해 모델은 기존 라벨이 아닌 새로운 라벨이라도 텍스트의 의미를 통해 탐지할 수 있습니다.

예: "grizzly bear"라는 라벨이 훈련 데이터에 없더라도, "bear"라는 라벨과 유사한 이미지 특징을 통해 탐지할 수 있게 됩니다.

4. 훈련 및 검증

개방형 탐지는 zero-shot 또는 few-shot 방식으로 평가할 수 있습니다.

• Zero-shot: 해당 클래스가 학습 데이터에 전혀 존재하지 않을 때도 테스트 가능.
• Few-shot: 해당 클래스에 대해 극소량의 데이터만으로 모델을 fine-tuning 함.

---

Open-vocabulary Detection의 도전 과제

데이터 및 라벨 다양성

자연어 텍스트는 의미가 매우 유연하기 때문에 “개”와 “강아지”, “푸들”은 모두 다른 단어지만 비슷한 시각적 개념을 지닙니다. 모델이 이를 명확히 구분하려면, 대규모의 멀티모달 데이터셋이 필수입니다.

임베딩 품질의 한계

텍스트 임베딩이 객체의 특징을 충분히 반영하지 못하면, 탐지 성능이 크게 저하됩니다. 특히 시각적으로 유사한 객체를 구별해야 할 때 임베딩 품질이 중요합니다.

연산량과 메모리

클래스 수가 증가할수록 탐지를 위한 텍스트 벡터와의 매칭이 복잡해지기 때문에, 멀티 텍스트 매칭은 속도와 메모리 면에서 큰 부담이 될 수 있습니다.

---

적용 사례와 실험적 결과

• Grounded DINO: Open-vocabulary Detection을 기반으로 만든 객체 탐지 모델로, 다양한 텍스트 쿼리에 기반한 탐지가 가능.
• RegionCLIP: CLIP 모델을 지역 탐지기와 통합하여 미세 조정 없이 개방형 탐지를 가능하게 함.
• OpenDet: COCO + LVIS 데이터셋을 활용하여 zero-shot 객체 탐지 능력을 검증함.

---

미래 방향성

Open-vocabulary Detection은 향후 자율 주행, 로봇 비전, 영상 검색, 스마트 시티 등에서 활용도가 높을 것으로 예상됩니다. 특히 다음과 같은 분야에 큰 영향을 미칠 수 있습니다:

• 영상 내 검색(Search in video): “빨간 자전거를 타는 사람”이라는 쿼리로 영상 내 특정 장면을 탐색.
• 실시간 감시 시스템: 미리 정의되지 않은 위험 객체(예: 새로운 무기, 낯선 짐)를 탐지.
• 로봇 비전 시스템: 미리 학습되지 않은 사물에 대해도 동적으로 반응할 수 있는 환경 구축.

멀티모달 학습과 대규모 언어 모델의 발전과 함께, Open-vocabulary Detection은 AI의 ‘상식적 이해력’을 시각적으로 확장시키는 핵심 기술로 자리매김할 것입니다.

---

결론

Open-vocabulary Detection은 기존 객체 탐지 모델의 한계를 극복하고, 더 유연하고 일반화된 인공지능 시스템을 구현할 수 있게 해줍니다. 특히 CLIP과 같은 사전학습 언어-비전 모델과의 통합을 통해, 새로운 상황과 환경에서도 실용적인 응용이 가능해졌습니다.

앞으로 이 기술은 비정형 객체 탐지, 로봇 공학, 검색 기반 AI 시스템 등 다양한 분야에서 필수적인 기술로 자리잡을 것이며, 연구 및 산업적으로 매우 중요한 진화의 방향을 제시하고 있습니다.