차원 축소 기법: PCA와 t-SNE 비교

🔍 서론: 왜 차원 축소가 필요한가?

현대의 데이터는 갈수록 복잡하고 고차원적인 형태를 띠고 있습니다. 예를 들어, 이미지, 음성, 센서 데이터, 유전자 데이터 등은 수천에서 수만 개의 변수로 이루어져 있어 분석이나 시각화, 학습에 어려움을 줍니다. 이러한 상황에서 **차원 축소(Dimensionality Reduction)**는 핵심적인 역할을 합니다.

차원 축소는 고차원의 데이터를 보다 낮은 차원으로 변환하여, 정보 손실을 최소화하면서도 데이터의 핵심 구조를 유지할 수 있도록 도와줍니다. 본 글에서는 대표적인 차원 축소 기법인 **PCA(주성분 분석)**와 **t-SNE(t-distributed Stochastic Neighbor Embedding)**를 비교하고, 각각의 장단점과 활용 사례를 설명합니다.

---

💡 차원 축소란 무엇인가?

차원 축소는 말 그대로 데이터의 특성(변수)의 수를 줄이는 기법입니다. 하지만 단순히 변수를 제거하는 것이 아니라, **새로운 축으로 데이터를 투영(projection)**하거나, 변수 간 관계를 고려하여 재구성하는 고급 수학적 방법론을 포함합니다.

차원 축소의 목적은 다양합니다:

• 시각화: 2D 또는 3D로 데이터의 패턴 탐색
• 노이즈 제거: 불필요한 변수를 제거해 모델 성능 향상
• 계산 효율성 개선: 속도 향상, 메모리 절약
• 과적합 완화: 모델의 일반화 능력 향상

---

📌 PCA(주성분 분석)의 개념과 작동 원리

**PCA(Principal Component Analysis)**는 선형 차원 축소 기법으로, 데이터를 분산이 가장 큰 축으로 투영하여 새롭게 축을 구성합니다. 이 축을 **주성분(Principal Component)**이라고 부르며, 각 주성분은 기존 변수들의 선형 결합으로 이루어져 있습니다.

PCA의 핵심 개념

1. 공분산 행렬 계산: 변수 간의 상관관계를 분석
2. 고유값 분해: 가장 큰 분산을 설명하는 축을 찾음
3. 주성분 선택: 설명력이 높은 순서로 축을 정렬
4. 차원 축소: 주요 주성분으로 데이터를 재구성

PCA의 장점

• 속도가 빠르고 계산 효율이 높음
• 선형 구조를 잘 반영하는 데이터에 강함
• 해석 가능성이 높아 각 주성분이 의미하는 바를 파악할 수 있음

PCA의 한계

• 비선형적인 데이터 구조를 반영하기 어려움
• 저차원으로 압축할수록 정보 손실이 커질 수 있음
• 시각화에는 적합하나 복잡한 데이터 구조에서는 한계 존재

---

🧠 t-SNE의 개념과 작동 원리

**t-SNE(t-distributed Stochastic Neighbor Embedding)**는 비선형 차원 축소 기법으로, 고차원 공간에서의 데이터 간 유사성을 저차원 공간에서도 유지하는 데 초점을 둡니다. PCA가 전체적인 데이터 구조를 설명하려 한다면, t-SNE는 지역적인 군집 구조(local structure)를 강조합니다.

t-SNE의 핵심 개념

1. 고차원에서 이웃 간의 유사도 계산: 유사도를 확률 분포로 변환
2. 저차원에서도 동일한 방식으로 유사도 계산
3. 두 분포 간의 차이를 줄이도록 위치 조정: Kullback–Leibler 발산(KL divergence)을 최소화

t-SNE의 장점

• 복잡한 비선형 구조를 잘 표현
• 군집 간 경계가 시각적으로 명확하게 드러남
• 데이터 분포의 시각화에 매우 효과적 (특히 이미지나 텍스트 임베딩)

t-SNE의 한계

• 계산 비용이 크고 속도가 느림
• 하이퍼파라미터(Perplexity, Learning Rate 등)에 민감함
• 결과가 결정론적이지 않아 재시도 시 결과가 다를 수 있음
• 시각화용으로는 탁월하지만 예측 모델 학습용으로는 부적절

---

🆚 PCA vs. t-SNE 비교

1. 데이터 구조 반영 방식

• PCA는 선형적 관계에 초점
• t-SNE는 비선형적이고 지역적인 유사성에 초점

2. 계산 속도

• PCA는 행렬 연산 기반으로 매우 빠름
• t-SNE는 반복적인 최적화 과정으로 느림

3. 결과의 해석 가능성

• PCA는 주성분에 대한 수학적 해석이 가능
• t-SNE는 축의 의미를 해석하기 어려움

4. 용도

• PCA: 전처리, 모델 입력값 차원 축소, 노이즈 제거
• t-SNE: 고차원 데이터의 시각화, 군집 확인

5. 정보 손실

• PCA는 주성분 수를 줄이면 점진적으로 손실
• t-SNE는 시각화에 최적화되어 있어 해석에는 손실 가능성 있음

---

✅ 실제 활용 사례

PCA 활용 예시

• 이미지 압축: 고해상도 이미지를 낮은 차원으로 압축해도 유사한 시각적 정보를 유지
• 금융 데이터 분석: 변수 수가 많은 주식, 경제 데이터의 핵심 요인 파악
• 머신러닝 전처리: 차원이 높은 데이터를 효율적으로 모델에 입력

t-SNE 활용 예시

• MNIST 이미지 시각화: 손글씨 숫자 데이터의 군집 구조 파악
• 자연어 임베딩 시각화: Word2Vec이나 BERT로부터 얻은 벡터의 유사도 시각화
• 유전자 데이터 시각화: 바이오 인포매틱스에서 고차원 유전자 데이터의 군집 분석

---

❗ 주의할 점 및 팁

• t-SNE는 정량적 분석보다는 정성적 시각화에 적합합니다. 시각화 목적 외에는 신중히 사용해야 합니다.
• PCA는 선형적 구조가 강한 데이터에 적합하며, 실제 예측 모델 학습 전에 전처리 단계로 자주 사용됩니다.
• 두 기법 모두 **표준화(Standardization)**가 필요할 수 있습니다. 변수의 스케일이 다른 경우 성능이 저하될 수 있기 때문입니다.
• t-SNE는 여러 번 실행하여 안정적인 결과가 나오는지 확인해야 합니다. 결과 해석은 항상 전문가의 직관과 함께 진행되어야 합니다.

---

✅ 결론: 선택은 목적에 따라

PCA와 t-SNE는 모두 강력한 차원 축소 기법이지만, 목적과 데이터 유형에 따라 선택이 달라져야 합니다.

• 정량적 분석 및 전처리 목적이라면 → PCA
• 데이터 구조 시각화 및 군집 탐색 목적이라면 → t-SNE

이 두 기법을 적절히 조합하고, 데이터의 특성에 따라 유연하게 적용한다면, 차원 축소를 통해 더 나은 머신러닝 결과를 얻을 수 있습니다.

---

❓ FAQ

Q1. PCA와 t-SNE를 함께 사용할 수 있나요?

A1. 가능합니다. 고차원 데이터를 PCA로 먼저 압축한 뒤 t-SNE로 시각화하는 방식은 계산 속도 개선과 노이즈 제거에 효과적입니다.

Q2. t-SNE의 perplexity는 어떻게 설정하나요?

A2. 일반적으로 5~50 사이에서 테스트하며, 데이터의 밀도나 크기에 따라 다르게 적용해야 합니다.

Q3. 차원 축소 후에도 모델 정확도가 유지되나요?

A3. 잘 설계된 차원 축소는 오히려 과적합을 방지해 정확도를 높일 수 있지만, 너무 많은 정보를 제거하면 오히려 성능이 저하될 수 있습니다.