Human‑Object Interaction Detection: 영상 속 행동 이해

HOI(사람-객체 상호작용) 인식이란?

영상 인식 기술이 급속도로 발전하면서, 단순히 사람이나 사물을 탐지하는 수준에서 벗어나, **사람과 객체 간의 상호작용(Human-Object Interaction, HOI)**을 인식하는 기술이 주목받고 있습니다. 예를 들어, 사람이 책을 들고 있는지, 의자에 앉았는지, 컵을 마시는지 등을 행동 단위로 분석하는 기술이 바로 HOI Detection입니다.

이 기술은 자율주행차, 로봇 비전, 감시 시스템, 증강현실(AR), 스포츠 분석 등 다양한 응용 분야에서 핵심적인 역할을 하고 있으며, 딥러닝 기술의 발전에 따라 그 정확도와 응용 범위가 빠르게 확장되고 있습니다.

사람-객체 상호작용 인식의 필요성

기존의 객체 탐지(Object Detection)나 사람 탐지(Pose Estimation) 기술만으로는 장면에 대한 의미 있는 해석이 어렵습니다. 예를 들어 단순히 ‘사람’과 ‘자전거’가 있는 것을 인식하는 것과 ‘사람이 자전거를 타고 있다’는 행동을 이해하는 것은 완전히 다른 차원의 인지입니다.

HOI Detection은 바로 이러한 고차원적 의미 해석을 가능하게 하여, AI가 실제 사람처럼 상황을 이해할 수 있는 기반을 마련합니다. 이는 인공지능의 상황 판단력과 문맥 인지 능력을 획기적으로 끌어올리는 데 큰 기여를 합니다.

기술적 구성 요소

HOI 인식 시스템은 다음의 핵심 요소들을 기반으로 작동합니다.

1. 객체 탐지(Object Detection)

영상에서 사람과 객체를 탐지하는 것이 1차적인 단계입니다. 보통 Faster R-CNN, YOLO, DETR 등의 알고리즘이 사용되며, 이 단계에서는 각 객체의 위치를 바운딩 박스로 추출합니다.

2. 사람-객체 쌍 생성(Pairing)

탐지된 사람과 객체를 가능한 모든 쌍으로 연결합니다. 예를 들어, 한 프레임에 2명의 사람과 3개의 객체가 있다면 총 6개의 사람-객체 쌍이 생성됩니다. 이 과정은 후속 행동 분류의 전처리 단계입니다.

3. 행동 분류(Action Classification)

각 사람-객체 쌍에 대해 어떤 행동이 일어났는지를 예측합니다. 대표적인 행동으로는 ‘잡고 있다’, ‘앉아 있다’, ‘차고 있다’, ‘던지고 있다’ 등이 있으며, 다중 클래스 분류 또는 멀티라벨 분류로 수행됩니다. 이 과정에서는 CNN, Transformer 기반 모델, Graph Neural Network(GNN) 등이 활용됩니다.

HOI 인식 모델의 발전

iCAN, InteractNet, HO-RCNN

초기에는 객체 탐지 모델의 구조 위에 행동 인식 분류기를 얹는 방식으로 구성되었습니다. iCAN 모델은 attention 메커니즘을 도입하여 사람과 객체 간의 관계 맥락을 강화했으며, InteractNet은 사람-객체 간 상대적 위치 정보를 강화해 성능을 향상시켰습니다.

Transformer 기반 HOI

최근에는 ViT(Vision Transformer) 구조와 DETR(Detection Transformer) 기반 모델이 각광받고 있습니다. 이들은 글로벌 컨텍스트를 이해하는 데 강점이 있어, 복잡한 장면에서도 사람-객체 관계를 효과적으로 파악할 수 있습니다. 특히 ActionFormer, QPIC 등의 모델은 영상 전체에서 시간적 흐름까지 고려한 고차원적 분석을 가능하게 합니다.

Zero-shot HOI

훈련 데이터에 없는 상호작용도 예측할 수 있는 제로샷 학습(ZSL) 기반 HOI 모델이 최근 연구되고 있습니다. 이는 HOI 라벨의 확장성과 데이터 부족 문제를 해결하는 방향으로 기대를 모으고 있습니다.

실제 적용 사례

1. 스마트 감시 시스템

사람이 위험한 행동(예: 칼을 들고 있음, 누군가를 밀고 있음)을 하는 장면을 자동으로 탐지하여 보안 요원에게 실시간 알림을 줄 수 있습니다.

2. 로봇 비전

로봇이 인간의 행동을 이해하고 적절히 대응하는 데 HOI 기술이 활용됩니다. 예를 들어, 사람이 로봇에게 물건을 건네는 동작을 인식하거나, 로봇이 협업 환경에서 인간의 의도를 추론할 수 있습니다.

3. 스포츠 해설 및 분석

축구 경기에서 ‘선수가 공을 차고 있음’, ‘공이 골대를 향하고 있음’과 같은 상호작용을 실시간으로 인식하여 자동 해설 및 하이라이트 추출이 가능합니다.

4. 증강현실 및 메타버스

사용자의 행동을 실시간으로 인식하여 가상 객체와의 상호작용을 자연스럽게 만들어주는 데 HOI 기술이 필수적입니다.

HOI 기술의 한계와 과제

HOI Detection은 여전히 다음과 같은 기술적 과제를 안고 있습니다.

• 행동 정의의 모호성: ‘들고 있다’와 ‘잡고 있다’의 차이는 사람에게는 명확하지만, AI에게는 모호할 수 있습니다.
• 데이터 부족: 복잡한 상호작용에 대한 라벨링된 데이터셋이 부족하며, 이는 학습 성능에 큰 영향을 미칩니다.
• 실시간 처리 한계: 고해상도 영상에서 다수의 상호작용을 실시간으로 처리하는 데 계산 자원이 많이 소요됩니다.

이러한 한계를 극복하기 위해 다양한 경량화 모델, 지식 기반 보강(Knowledge-Augmented Learning), 자기지도학습(Self-Supervised Learning) 등이 연구되고 있습니다.

미래 전망

HOI Detection은 인간의 행동을 보다 정밀하게 이해하고 해석하려는 AI 기술의 진화 방향과 맞닿아 있습니다. 향후에는 다음과 같은 발전이 기대됩니다.

• 다중 모달 상호작용 인식: 영상뿐만 아니라 음성, 텍스트 등 다양한 입력을 조합하여 상호작용을 더 풍부하게 이해
• 3D 공간 인식 기반 상호작용 분석: AR/VR 환경에서 공간적 관계를 보다 정밀하게 파악
• 상황 이해 기반 의사결정 AI: 단순히 인식에서 그치지 않고, 예측과 대응까지 수행하는 인공지능 개발

---

결론

Human‑Object Interaction Detection은 영상 인식 기술의 진화된 형태로, 사람과 객체 사이의 의미 있는 관계를 이해하는 데 핵심 역할을 합니다. 향후 감시, 로봇, 의료, 스마트 시티, 메타버스 등 다양한 산업 영역에서 AI의 상황 인식 능력을 높이는 데 중요한 기반 기술로 작용할 것입니다.