linear classification with softmax - 소프트맥스 회귀

출처 : cs231n lecture3

 

www.youtube.com/watch?v=h7iBpEHGVNc

 

 

이번에는 저번시간에 이어서 linear classification의 방식에 대해 알아보도록 하겠습니다.

reminder-by-kwan.tistory.com/115

linear classification, SVM - 선형 분류

저번시간에 사용하였던 multiclass SVM 모델도 장점들을 가지고 있지만 일부 단점들이 존재하였습니다.

최선의 모델에서만 lost function을 0으로 만드는것이 아니었고 각 결과값(점수)에 의미가 존재하지 않았습니다.

이에따라 확률적이고 sum을 1로 만드는 모델을 고안하였는데 이중 대표적인 모델이 softmax 방식입니다.

Softmax Classifier (Multinomial Logistic Regression)는 조건부확률을 이용한 모델로 exponential을 이용해 계산합니다.

이에따라 모든클래스의 P값의 합이 1이되므로 특정 클래스의 최대도 1로 제한됩니다.

이제 softmax function을 이용하여 lostfunction을 만들어봅시다.

softmax function의 함수값이 1인경우 loss 값은 0이되어야합니다. 그래야 loss 를 minimize하는 모델을 구현할 수 있습니다. 우리는 -log를 취하는 방식에서 이 방식을 만들어내었습니다.

이전에 진행했던(reminder-by-kwan.tistory.com/115) 것과 동일하게 고양이를 분류하는 모델리 있는경우를 생각해봅시다. exponetail을 취하고 normalize하면 위와같은 점수가 나오게된다.

여기 -log를 씌우면 costfunction의 값이 되는 방식이다.

 

multiclass SVM과 softmax 방식을 비교해보자.

이제 costfunction을 평가하는 방법을 알았으니 이를 이용해 Gradient descent method로 W를 구하도록 하자.