cross validation and fitting - 교차 검증과 피팅

출처: machine learning by andrew ng, stanford cousera lecture

수강일시: 2021.01.31

 

reminder-by-kwan.tistory.com/94

regularization - 정규화

학습알고리즘이 기대한만큼의 성능을 내지 못하는 이유는 다양합니다.

성능을 올리기 위해서는

1. 더 많은 데이터를 수집한다

2. 적은 feature로 학습해본다

3. feature를 추가해 본다

4. 가설함수의 다항식을 조절해본다

5. 정규화식의 람다값을 조절해본다.

 

의 다섯가지가 가장 대표적이다.

이중에서 오버피팅과 언더피팅의 문제를 해결하기 위해서 앞선 수업들에서 진행했던 방법에 추가적으로 어떻게

과대적합과 과소적합을 해결할 것인가에 대해서 알아보도록 하자.

 

과대적합에 있어서 training set과 test set 두개로 나누는 방식은 매우 비효율적이다. train set에는 완벽하지만 test set에는 비효율적인 결과를 나타내기 때문에 이러한 문제를 해결하기 위해 train set, cross validation set, 그리고 test set 세가지로 나눈다.

 

먼저 trainset에서 학습을하고 cross validation set를 이용하여 최적의 값을 고르고 이를 이용해 trainset에서 평가하는 방식을 취하고자 한다.

 

여기서는 bias와 variance를 어떻게 조절할 것인가에 초점을 맞춰 고민해보도록 하겠습니다.

 

여기서 위 4번 즉 가설함수의 다항식을 조절해보는 방식을 먼저 진행해보도록 하자.

위에서 보는것과 같이 다항식의 최고차수 d와 trainingset의 J 그리고 cv의 J는 위와같은 관계를 보인다.

따라서 J가 다시 증가하기 전의 점을 골라야 overfitting 혹은 underfitting 되지 않은 값을 선택할 수 있다.

 

다음으로는 5. 정규화식의 람다값을 조절해본다. 를 고민해보자.

어떤 람다값을 선택하냐에 따라 과소적합될수도 과대적합될 수도 있다.

람다와 Jcv Jtrain의 관계는 다음과 같다.

따라서 교차검증set을 적절하게 구분하여 이를이용해 overfitting 혹은 underfitting이 일어나지 않도록 해야 한다.

 

따라서 Jcv 혹은 J test에 원하는 결과보다 못미치는 결과를 얻었을경우 무턱대고 데이터를 더 얻는것보다

어떤 방향으로 진행해야하는지 확실히 알고 진행을 해야한다.

 

아래는 그 예이다.

• Getting more training examples: Fixes high variance

• Trying smaller sets of features: Fixes high variance

• Adding features: Fixes high bias

• Adding polynomial features: Fixes high bias

• Decreasing λ: Fixes high bias

• Increasing λ: Fixes high variance.