kwan's note

back propagation in neural network - 역전파 본문

ML and AI/Machine learning - Andrew Ng

back propagation in neural network - 역전파

kwan's note 2021. 1. 29. 02:50
반응형

출처: machine learning by andrew ng, stanford cousera lecture

수강일시: 2021.01.29

 

reminder-by-kwan.tistory.com/97

 

neural network - 신경망 모델 이용 방법

출처: machine learning by andrew ng, stanford cousera lecture 수강일시: 2021.01.28 reminder-by-kwan.tistory.com/96 neural network - 신경망 모델 출처: machine learning by andrew ng, stanford cousera..

reminder-by-kwan.tistory.com

 

neural network에서 역전파에 대해 알아보겠습니다.

역전파 알고리즘은 cost function을 최소화 하는 값 J(theta)를 구함에 있어서 J의 theta에 대한 미분값을 얻는 하나의 방법입니다.

cost function의 최소화

역전파는 아래와 같은 방법으로 진행됩니다.

먼저 train set에 대해 froward propagation 즉 전파를 진행하여 오른쪽 layer의 activation을 구합니다.

이를 이용하여 delta(L) 즉 오차를 구합니다. 이 오차를 이용하여 L-1 layer의 activation에 해당하는 오차를 구하고 그로부터 앞의 오차를 구하는방식으로 진행해 나갑니다. 마지막으로 이를 이용해 J의 편미분 값을 구합니다.

이를 줄글과 sudo code로 표현하면 아래와 같습니다.

위의 식이 복잡하므로 이를 도식화하여 표현하면 아래와 같습니다.

먼저 foward propagation 즉 정방향 전파입니다.

input x에 대해 앞으로 연산을하며 채워나갑니다. 최종적으로 L번째 layer의 activation이 채워지면 오차 delta를 구합니다.

 

다음으로 역전파가 진행됩니다.

 

반응형

'ML and AI > Machine learning - Andrew Ng' 카테고리의 다른 글

SVM support vector machine - 서포트 벡터 머신  (0) 2021.02.04
cross validation and fitting - 교차 검증과 피팅  (0) 2021.01.31
neural network - 신경망 모델 이용 방법  (0) 2021.01.28
neural network - 신경망 모델  (0) 2021.01.28
neural network -신경망 구조의 필요성  (0) 2021.01.28
'ML and AI/Machine learning - Andrew Ng' Related Articles more