Normal Equation-정규방정식

출처: machine learning by andrew ng, stanford cousera lecture

수강일시: 2021.01.25

 

reminder-by-kwan.tistory.com/89

gradient descent(경사하강법)

gradient descent 방법에 이어 normal equation을 통해 cost function의 최소를 구하는 방식에 대해 배워보도록 하겠습니다.

 

경사하강법은 cost function의 minumum을 수치적으로 분석한반면 normal equation은 대수적으로 접근해서 해를 구한다. normal equation의 key idea는 미분값이 0이 되도록하는 값을 찾는것이다.

 

n개의 feature를 가진 m개의 data가 있는 경우를 살펴보자.

여기서는 m=4이다.

normal eqaution에선 scaling이 필요하지 않다.(대수적으로 계산하므로)

 

다음은 경사하강법과 정규방정식의 비교이다.

정규방정식은 feture가 커지면 사용하기 힘들다 빅오 노테이션으로 n세제곱이 되기 때문이다.