차원 축소

차원 축소

• 차원 축소(Dimensionality Reduction): 고차원 데이터의 중요한 정보는 최대한 유지하면서 더 낮은 차원으로 변환하는 기법
• 목표 및 장점
  • 과적합 방지: 모델 복잡도를 줄여 일반화 성능 향상
  • 계산 효율성 증대: 학습 속도 향상, 메모리 및 저장 공간 절약
  • 시각화 용이: 2D 또는 3D로 데이터를 시각화하여 패턴 파악
  • 차원의 저주 완화: 고차원 공간의 데이터 희소성과 거리 계산 문제 완화
  • 불필요하거나 노이즈가 많은 특성을 제거해 성능 향상 가능
• 고려사항
  • 차원 축소 과정에서 일부 정보 손실이 발생할 수 있음
  • 특성 추출로 생성된 새 특성은 원래 특성의 의미를 직관적으로 해석하기 어려울 수 있음
• 예: 사람의 다양한 성격 특성을 외향적/내향적 등 몇 가지 차원으로 표현

여러 가지 차원 축소 기법

• 주성분 분석(Principal Component Analysis, PCA)
  • 고차원 데이터를 저차원으로 변환하여 데이터의 분산을 최대한 보존
• 독립성분 분석(Independent Component Analysis, ICA)
  • 관측 데이터가 여러 독립적인 신호의 혼합물로 구성되어 있다고 가정
• 비음행렬 분해(Non-Negative Matrix Factorization, NMF)
  • 행렬을 두 개의 비음수 행렬의 곱으로 분해

데이터 시각화를 위한 차원축소

• t-SNE(t-Distributed Stochastic Neighbor Embedding)
  • 고차원 데이터의 부분적 특징을 보존하는 차원 축소 기법
  • 시각화에 주로 사용
• 방법
  • 고차원 공간에서 다변량 정규분포를 기반으로 유사성을 확률로 계산
  • 저차원 공간에서 다변량 t분포를 기반으로 유사성을 확률로 계산
  • 두 확률 분포의 차이를 KL 발산으로 측정
  • KL 발산이 최소화되도록 저차원 공간의 좌표를 결정
• 단점 및 해석상 주의점
  • 계산 비용이 높음
  • 같은 데이터셋에서도 실행할 때마다 다른 결과가 나올 수 있음
  • 저차원 공간의 거리가 반드시 고차원 공간의 거리와 비례하지는 않음
  • 비선형 차원 축소 기법
• 더 발전된 UMAP 기법도 사용됨