logistic regression -로지스틱 회귀

출처: machine learning by andrew ng, stanford cousera lecture

수강일시: 2021.01.26

 

reminder-by-kwan.tistory.com/86

supervised learning -지도학습

지도 학습문제에서 보았던 binary classification문제를 선형 근사로 풀어보자.

처음에는 그럴듯한 결과를 보이는듯하지만 몇가지 문제를 더 풀다 보면 때로는 정확하지 않은 결과가 나오기도 한다.

이는 hyphothesis function이 yes와 no가 아닌 그 바깥 부분까지 연장되기 때문에 발생한다.

즉, 특이값이 있는경우 선형 회귀는 특이값에 대한 거리를 줄이려고 하므로 (cost function이 거리의 제곱에 비례하므로 이런 현상이 생긴다) 여기서 문제가 발생한다.

 

따라서 classification에서 가설함수의 범위를 제한하여 분류문제에서 원하는 결과를 얻을 수 있는 로지스틱 회귀에 대해 찾아보도록 하자.

가설함수의 범위를 0에서 1로 한정하기 위한 방법으로 로지스틱회귀는

시그모이드 함수(sigmoid function) 다른말로는 로지스틱 함수(logistic function)을 사용한다.

 

hθ(x)=g(θTx)

z=θTx

g(z)=1/(1+e^-z)

 

g를 씌움으로 h의 범위를 제한하는 방법을 택하였다.

따라서 h(theta)는 이제 0 또는1이 될 확률을 나타내게 된다.

hθ(x)≥0.5→y=1

hθ(x)<0.5→y=0

으로 만들도록 하는데

이에따라 theta x 가 0보다 클 때 h가 0.5이상이 된다.

즉 theta x 를 0으로 만드는 함수를 기준으로 설계한다. 다음은 이에 대한 예시이다.

 

다음 내용으로 로지스틱 회귀를 이용해 cost function을 실제로 구하는 방법에 대해 알아보도록 하겠습니다.

reminder-by-kwan.tistory.com/92

cost function in logistic regression -로지스틱 회귀에서 비용함수