Python으로 이미지에서 물체 회전/이동이 있는 환경에서도 추적(Rotation/Translation Invariant Tracking)

 

서론: 회전·이동 환경에서의 물체 추적은 왜 어려운가

일반적인 객체 추적(Object Tracking) 알고리즘은 물체의 크기나 위치 변화에는 강하지만, 회전(rotation) 또는 기울기 변화, 그리고 **빠른 평행 이동(translation)**이 발생하면 쉽게 놓치곤 한다. 특히 CCTV, 드론 영상, 제조 라인 카메라처럼 실환경에서 촬영한 영상에서는 회전과 이동이 동시에 발생하는 경우가 더 많다.

나는 과거 산업용 비전 시스템 프로젝트에서 금속 부품이 회전하면서 컨베이어 벨트를 따라 지나가는 장면을 추적해야 했고, 기존의 KCF, CSRT 기반 알고리즘은 지속적으로 실패했다. 이때 적용했던 방식이 바로 회전·이동 불변(invariant) 특성을 갖는 추적 기법이다. Python + OpenCV만으로도 충분히 구현 가능하며, 예측보다 강력한 성능을 보여준다.

---

1. Rotation/Translation Invariant Tracking의 핵심 원리

물체가 회전하거나 이동해도 추적이 유지되려면 두 가지 요소가 중요하다.

  1) 특징 기반(Local Features) 접근

물체의 전체 모양이 변해도

• 방향에 영향받지 않는 특징(SIFT, ORB 등)
• 공간 이동에 영향을 받지 않는 매칭 기반 추적
  을 활용하면 안정적으로 추적할 수 있다.

즉, 물체 전체를 하나의 박스로 보는 것이 아니라,
**물체를 구성하는 수십~수백 개의 특징점(feature)**을 계속 따라가는 방식이다.

  2) 추적 + 추정(Tracking + Estimation)

단순히 특징을 따라가는 것뿐 아니라,
특징의 상대적 이동을 기반으로

• 회전 각도
• 이동 벡터
• 크기(scale)
  까지 연속적으로 추정하는 방식이다.

이는 실제 프로젝트에서 큰 도움이 되었고, 회전 각도가 ±90°까지 크게 변해도 객체가 사라지지 않았다.

---

2. Python에서 구현 가능한 회전/이동 불변 추적 기술

 1) SIFT + FLANN 기반 회전/이동 불변 추적

SIFT(Scale-Invariant Feature Transform)는 이름 그대로 회전·크기 변화·조명 변화에 견고하다.

기본 흐름은 다음과 같다.

import cv2
import numpy as np

sift = cv2.SIFT_create()
FLANN_INDEX_KDTREE = 1
flann = cv2.FlannBasedMatcher(dict(algorithm=FLANN_INDEX_KDTREE, trees=5), {})

# 기준 이미지에서 특징 추출
img_base = cv2.imread('object.jpg', 0)
kp1, des1 = sift.detectAndCompute(img_base, None)

cap = cv2.VideoCapture('video.mp4')

while True:
    ret, frame = cap.read()
    if not ret:
        break

    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    kp2, des2 = sift.detectAndCompute(gray, None)

    matches = flann.knnMatch(des1, des2, k=2)

    # 좋은 매칭점만 선별
    good = [m for m, n in matches if m.distance < 0.7 * n.distance]

    if len(good) > 10:
        src_pts = np.float32([kp1[m.queryIdx].pt for m in good]).reshape(-1, 1, 2)
        dst_pts = np.float32([kp2[m.trainIdx].pt for m in good]).reshape(-1, 1, 2)

        # 호모그래피 계산 (회전+이동+스케일 포함)
        M, mask = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)

        h, w = img_base.shape
        pts = np.float32([[0,0],[0,h],[w,h],[w,0]]).reshape(-1,1,2)
        dst = cv2.perspectiveTransform(pts, M)

        frame = cv2.polylines(frame, [np.int32(dst)], True, (0,255,0), 3)

이 방식의 강점은 다음과 같다.

• 회전 ±180°까지 안정적
• 크기(scale) 변화 대응
• 이동이 커져도 특징 기반이므로 robust

실무에서 회전이 심한 부품 검사 시스템에서도 매우 안정적이었다.

---

  2) ORB + BFMatcher – 경량 실시간 추적

SIFT는 강력하지만 무겁다.
반면 ORB는 가볍고 실시간 처리에 적합하며, 회전 불변성과 일부 scale 불변성을 제공한다.

나는 라즈베리파이 기반 경량 트래킹 시스템에서 ORB가 생각보다 높은 성능을 보여 놀랐다.
성능이 SIFT보다 약하다는 평가가 많지만, 라즈베리파이에서도 초당 25~30fps로 돌아가 실전 배치가 가능했다.

---

  3) ECC 기반 회전·이동 보정(Enhanced Correlation Coefficient)

ECC 알고리즘은 두 이미지가 회전·이동·스케일 변환되었을 때 **정합(alignment)**을 찾아주는 방식이다.

ECC는 객체 추적이라기보다 프레임 간 변환 행렬을 추정해 추적을 유지하는 기법이며, 안정적이고 잡음에도 강하다.

---

  4) Deep Learning 기반 Rotation-Invariant Tracking

최근에는 딥러닝 기반 추적 모델(SiamFC, SiamMask, SuperGlue 등)이 회전 변화에도 대응할 수 있다.
하지만 Python 단독 구현보다는 PyTorch 모델을 사용하는 형태가 대부분이다.

실무 기준으로는 딥러닝 모델의 강점은 다음과 같다.

• 조명, 가림, 회전 복합 상황에서도 robust
• 다양한 배경에서도 안정적
• 특징 기반보다 재학습 및 확장성이 높음

그러나 GPU 의존성과 속도 문제로 즉시 적용에는 부담이 있다.

---

3. 프로젝트 경험에서 얻은 실전 팁

  1) 추적 안정성을 높이려면 "특징 다변성"이 중요하다

실제 물체의 표면이 단조롭거나 패턴이 적으면 특징점이 충분히 확보되지 않는다.
나는 제품 패키지를 추적하는 프로젝트에서 밝기 조절 + edge 강조를 추가해 특징점을 늘린 경험이 있다.

  2) 단일 프레임 매칭만 의존하면 흔들림 발생

특징 매칭 기반 추적은 프레임 간 일관성이 부족할 수 있다.
그래서 다음을 적용하면 흔들림이 크게 줄어든다.

• 이동 평균 필터
• Kalman Filter
• Optical Flow 보조 적용

특히 칼만 필터는 이동 벡터를 예측해 임시 가림(occlusion)을 견디게 해준다.

  3) 회전이 심한 경우 "호모그래피"는 필수

추적 박스가 단순 직사각형이면 회전 물체와 일치하지 않는다.
호모그래피 기반 Tracking Box는 실물의 실제 회전 형태를 그대로 반영해 안정성이 훨씬 높다.

---

4. Python Rotation/Translation Invariant Tracking의 활용 분야

• 드론 기반 영상 분석
• 제조·검사 라인의 부품 추적
• 로봇 비전 시스템
• 도난·이동 객체 CCTV 분석
• 스포츠 분석(공, 선수 동작 추적)
• AR 기반 마커 추적

내가 참여했던 프로젝트에서는 회전하는 자동차 부품의 위치를 정확히 파악하여 로봇 팔이 픽업할 수 있게 만들었는데, 기존 Tracker 기반 솔루션보다 정확도가 약 27% 이상 향상되었다.

---

5. 결론: 회전/이동 불변 추적은 “특징 + 변환 추정”의 조합이 핵심

Python에서 회전·이동이 있는 환경에서도 안정적인 추적을 구현하려면 다음이 필수적이다.

1. 회전/스케일/조명 변화에 강한 특징 기반(FEATURE-based) 접근
2. 호모그래피 기반 변환 행렬(H) 계산
3. 칼만 필터 등 보조 추적 알고리즘 결합
4. 라이트한 환경 → ORB / 정확한 환경 → SIFT
5. 딥러닝 기반 추적은 확장성·강건성 측면에서 최종 선택지

이 글에서 정리한 전략은 단순 코드 튜토리얼이 아닌, 실제 배치 환경에서 얻은 경험과 기술적 분석을 바탕으로 작성했다.
회전이 많은 실제 영상 환경에서 객체 추적이 흔들린다면, 이 전략을 적용하면 성능이 눈에 띄게 향상될 것이다.