[ML] 차원 축소(Dimension Reduction)

CH06. 차원 축소 

01. 차원 축소 개요

매우 많은 피처로 구성된 다차원 데이터 세트의 차원을 축소해 새로운 차원의 데이터 셋을 생성하는 것

 

차원이 증가할수록 데이터 포인트 간 거리가 기하급수적으로 멀어지게 되고, 희소한 구조를 가지게 된다

 

차원 축소는 피처 선택과 피처 추출로 나눌 수 있다 

피처 선택: 특정 피처에 종속성이 강한 불필요한 피처는 아예 제거하고, 데이터의 특징을 잘 나타내는 주요 피처만 선택하는 것

피처 추출: 기존 피처를 저차원의 중요 피처로 압축해서 추출하는 것

->새롭게 추출된 중요 특성은 기존의 피처가 압축된 것이므로 기존의 피처와는 완전히 다른 값이 된다

02. PCA(Principal Component Analysis) 401p

PCA 개요

여러 변수 간에 존재하는 상관관계 이용해 이를 대표하는 주성분을 추출해 차원을 축소하는 기법

기존 데이터의 정보 유실이 최소화된다

입력 데이터의 공분산 행렬을 고유값 분해하고, 이렇게 구한 고유 벡터에 입력 데이터를 선형 변환한다

 

03. LDA(Linear Discriminant Analysis)

LDA 개요

선형 판별 분석법

입력 데이터셋을 저차원 공간에 투영해 차원을 축소하는 기법

지도학습의 분류에서 사용하기 쉽도록 개별 클래스를 분별할 수 있는 기준을 최대한 유지하면서 차원을 축소한다

 

LDA는 특정 공간상에서 클래스 분리를 최대화하는 축을 찾기 위해 클래스 간 분산과 클래스 내부 분산의 비율을 최대화하는 방식으로 차원을 축소한다

 

04. SVD(Singular Value Decomposition)

SVD 개요

PCA는 정방 행렬만 고유벡터로 분해할 수 있지만,

SVD는 행과 열 크기 다른 행렬에도 적용할 수 있다

 

사이킷런 TruncatedSVD 클래스를 이용한 변환

 

05. NMF(Non-Negative Matrix Factorication)

NMF 개요

Truncated SVD와 같이 낮은 랭크를 통한 행렬 근사 방식의 변형

원본 행렬 내의 모든 원소 값이 모든 원소 값이 모두 양수라는 게 보장되면 다음과 같이 좀 더 간단하게 두 개의 기반 양수 행렬로 분해될 수 있는 기법을 지칭