특이값 분해(Singular Value Decomposition)

출처: 부스트코스-인공지능을 위한 선형대수

수강일시:2021.01.08

 

 

전체 강의의 마지막 주제인 특이값 분해(SVD: Singular Value Decomposition)을

배우겠습니다. 그리고 이에 더 나아가 특이값 분해를 여러 관점에서 해석해보는 시간을 가지겠습니다.

 

SVD는 이전에서 다룬 고윳값 분해와는 다르게 정사각행렬이 아닌경우에도 가능하다.

U와 V는 orthonormal한 행렬이고

시그마는 대각행렬이다.

U는 column들이 모두 orthonormal한 벡터이고

V는 row들이 모두 orthonormal하다

시그마와 T를 곱한 행렬과 U와의 곱인데 U는 column이 orthonormal한 행렬이다.

이를 QR factorize의 형태와 유사하게 볼 수도 있다.

 

이러한 SVD는 unique하지 않다. 

 

 

다음으로 SVD를 계산하는 방법에 대해 배워보자.

A가 5by3 matrix 라고 한다면 AAT는 5x5 , ATA는 3X3의 정사각행렬이 된다.

V는 orthonormal한 column을 가지므로 VVT=I 이다. 따라서 위 슬라이드와 같이 AAT와 ATA가 계산된다.

만약 U가 orthonormal한 정사각행렬일 경우 eigen decomposition의 VDV^(-1) 와 유사하게 연속적으로 곱했을 때 중간항만 제곱되고 앞 뒤 항은 유지되는 형태가 될 것이다.

 

그렇다면 AAT의 행렬을 아예 eigen decomposition 할 수 있는지 생각해 봄직하다.

eigen decomposition이 가능하기 위한 조건들을 만족하는지 생각해보자.

eigen decomposition이 가능하려면 위 슬라이드의 세 조건을 만족해야한다.

U와 V가 orthogonal해야하고 시그마제곱이 양수여야한다(그래야 시그마가 모두 실수를 가지므로)

마지막으로 시그마제곱이 AAT와 ATA에서 같아야한다.

 

결론부터 말한다면 "그렇다"이다.

이를 확인해보자

 

ATA와 AAT는 항상 대칭행렬이다. (transpose 연산에 대해 동일하므로)

또한 각 column이 orthogonal하다. 증명은 Lay 7.1참조

다음은 대칭행렬의 spectral theorem이다.

 

이를통해 AAT와 ATA가 조건 첫번째 즉 U와 V가 orthonormal한 행렬임을 밝혔다.

다음으로 시그마제곱이 양수가 되는지 확인해보도록 하자. 

xT A AT x 는 자기자신과의 내적이므로 0보다 크거나 같다(positive semi definite)

xT AT A x  또한 norm Ax 의 제곱이다(positive semi definite)

 

마지막으로 만족해야 하는 조건은 AAT의 시그마제곱과 ATA의 시그마제곱이 동일한지에 대한 확인이다.

이에대한 증명은 수업에서 다루지 않았고 링크로 증명과정을 대체하였다.

 

결과적으로 eigen decomposition을 만족하지 않더라도 SVD는 가능하게 되었다.

만약 입력matrix가 정사각행렬이고 symetric하다면 eigen decomposition이고 V와 V^(-1)는 transpose관계이면서 orthonormal하다.