고유값 분해와 특이값 분해의 머신러닝에서의 응용

출처: 부스트코스-인공지능을 위한 선형대수

수강일시:2021.01.08

 

마지막으로 이번 강의는 이제까지 배운 고유값 분해와 특이값 분해가

실제 딥 러닝과 머신 러닝에는 어떤 식으로 활용될 수 있는지 배워보는 시간입니다.

고유값 분해가 머신러닝에서 어떻게 쓰이는지 알아보고,

특이값 분해가 'Low-rank approximation'과 'Dimension-reducing transformation'에서 

어떻게 활용될 수 있는지 배워보겠습니다. 

 

A의 행렬이 데이터와 특성을 나타낼때, ATA와 AAT행렬이 나타내는 바가 무엇인지 설명하고있다.

즉 해당 내적은 두 값과의 관계(similarity 혹은 correlation의 관계에 대한 정보를 제공한다.

 

rank n인 A에대해 동일한 크기이지만 rank가 n보다 작은, A와의 차이가 최소화도록 하는 행렬 Ar을 만들고자 한다.

차이의 최솟값은 Frobenius norm(행렬 내 모든 값을 제곱하여 더함)을 기준으로 한다.

이때 원하는 rank의 숫자를 r이라고 한다면 시그마를 기준으로 decreasing order로 sort하여 상위r개의 u값들만 취하면

min frobenius norm을 만족하는 행렬 Ar이 된다.

 

low rank approximation의 이유는 각종 measurement 오차로 인한 rank증가를 줄이기 위함이다.

즉 전처리의 일부로 진행된다.

 

다음은 차원축소과정을 살펴보자

위 과정울 진행하면 결과적으로 low rank approximation에서 진행했던 min 프로베니우스 놈 과 마찬가지로 시그마값이 높은 순서대로 취하는것이 된다.