1. 기울기 소실(Vanishing Gradient)이란?
역전파에서 경사하강법 진행시, 기울기 값이 사라지는 문제
출력층에 가까운 값에서 입력층으로 가까운 값으로 진행되면서 기울기가 작아지며 소실한다.
더보기
input layer에 입력값이, output layer에 출력값이, 중간 부분에서 계산을 함.
간단히 말하면 입력값에 중요한 만큼(가중치)를 곱해서 특정 값(임계치)를 넘으면 출력값에 옳은 답 이라는 것을 출력함.
이때, input layer -> hidden layer -> output layer를 가는 순전파도 있지만 output layer 쪽에서 input layer로 가는 역전파도 있음. 역전파는 데이터에대한 가중치를 정정할때 사용됨. 이때 곱해지는 활성화 함수에 대해 예시를 들겠음.
