정규방정식

출처: 부스트코스-인공지능을 위한 선형대수

수강일시:2021.01.06

 

이전내용인 최소제곱직선에 이어서 작성하였습니다.

reminder-by-kwan.tistory.com/30

최소제곱 문제(Least Squares Problem)

이전 수업에 이어서 최소제곱직선을 만족하기 위해 xhat은 다음의 normal equation을 만족해야 한다.

AT(b-Axhat)=0

ATb=ATAxhat=0

 

argmin ll b- Ax ll 는 이를 제곱한것과 같은값이다.

(길이의 최솟값을 만드는 x와 길이제곱의 최솟값을 만드는 x는 동일한값)

따라서 argmin (b-Ax)T(b-Ax)로 계산하면

bTb-xTATb-bTAx+xTATAx가 되는데

이때 값을 x에 대해 미분하여 최소가 되는 x를 구하도록 하자.

 

 

벡터의 미분에 대해 생각해보자. 이는 각각 x의 성분의 편미분으로 본다.

 

 

 

 

 

 

 

 

다시 원래 식으로 돌아가 xTATb의 x에대한 미분은 ATb가 된다.

bTAx의 x에 대한 미분은 xT(bTA)T의 x에 대한 미분이 되므로 ATb가 된다.

xTATAx 는 곱의미분을(f'g+ fg') 이용하여 계산하면 2ATAx가 된다.

따라서 bTb-xTATb-bTAx+xTATAx의 미분은 결과는 ATb-ATAx=0가된다.

 

 

ATA의 역행렬이 없다면 해가 무수히 많거나 없게된다.(여기선 무수히 많은경우이다)

A의 column vector가 linearly dependent하면 ATA의 역행렬이 존재하지 않는다.

하지만 데이터가 많은경우, real life problem에서  linearly dependent인 경우가 자주 발생하지는 않는다.

 

x=(ATA)^-1 ATb가 된다.