cost function in logistic regression -로지스틱 회귀에서 비용함수

출처: machine learning by andrew ng, stanford cousera lecture

수강일시: 2021.01.26

 

reminder-by-kwan.tistory.com/91

logistic regression -로지스틱 회귀

로지스틱 회귀에서 비용함수를 생각해보자.

이전까지는 비용함수를 h-y의 제곱에 비례하는 수로 정의했다. 이를통해 h와 y의 거리를 구했고 그 제곱의 합을 최소화 하는 방법으로 classification을 진행했는데 이를 진행하다보면 단점이 존재한다.

그중 가장 큰 단점으로는 최소제곱합 방식의 비용함수는 non convex function이 된다는것이다.

 

오목함수가 되지 않는다면 이전에 배웠던 gradient descent 즉 경사하강법을 사용할 수 없다. 

따라서 이제 로지스틱회귀에서는 새로운 costfunction을 정의해서 사용하고자 한다.

 

새로운 cost function은 로그함수를 사용해서 정의한다. y=1이고 h=1일때 cost가 0이되고 y=0 h=0일때도 cost가 0이되는것을 확인할 수 있다. 여기서 더 나아가 자세히 살펴보도록 하자.

새로운 cost function을 도식화 하면 아래와 같다.

 

위 식을 간단하게 바꾸면 아래와 같이 된다.

 

Cost(hθ​(x),y)=−ylog(hθ​(x))−(1−y)log(1−hθ​(x))

 

따라서 전체 costfunction은 아래와 같다.

이제 위식을 이용해 gradient descent 방식으로 minimize하여 원하는 classification문제를 해결할 수 있다.