정사영 (Orthogonal Projection)

출처: 부스트코스-인공지능을 위한 선형대수

수강일시:2021.01.06

 

이전내용인 최소제곱직선에 그리고 정규방정식에 이어서 작성하였습니다.

reminder-by-kwan.tistory.com/30

최소제곱 문제(Least Squares Problem)

reminder-by-kwan.tistory.com/31

정규방정식

 

이전 최소제곱직선과 정규방정식에서 해결해야 하는 문제는 위와 같았다.

이를 colA 에대해 b의 수선의 발을 구하여 b hat의 값을 생각한다고 하면

여기서 b hat은 결과적으로 b행렬에 어떠한 행렬(여기선 A(AT)^-1 AT)의 곱으로 나타낼 수있다.

 

즉 orthogonal projection은 행렬와 주어진 벡터의 곱으로 나타난다 (선형 결합의 특징을 만족한다)

두개의 점의 선형결합하여 사영시킨것과 사영들의 선형결합이 같게 된다.

 

예를들어 R^5 차원이 orthogonal set이라고 한다면 어떤 u1...up중 어떠한 한쌍을 잡아서 내적해도 수직이 된다.

orthonormal set이라고 한다면 orhogonal set중에 길이를 1로 조절한것(unit vector인경우)이다.

 

모두 수직이므로 항상 linearly independent한다.

 

 

linearly independent한 벡터를 orthogonal 하게 만드는것을 수직화라고 한다.

b에서 수선의 발을 내려서 bhat이라고 하면

b-bhat의 벡터가 orthogonal한 벡터가 된다.

 

 

이를 2차원에서 일반화시키면 다음과같다.

A 벡터의 column이 orthonormal한 형태였다면 AT A = I

 

추가)A벡터의 column이 거의 유사한 경우 (예를들어 키와 몸무게+100의 관계라고 하고 둘이 매우 비슷한경우 아주 작은 값의 변동도 매우 큰 결과값 차이를 만들 수 있게된다. 성능이 안좋아질 수 있다.

 

 

따라서 ridge Lasso regulization등을 이용한다.

ridge regression은 coefficient을 더하는것으로 ATA 에다가 값이 감마인 I 행렬을 더하는것(대각선의 값이 감마)

ridge regression을 통해 A의 두 column vector의 각을 늘려주는 형태가 된다.