데이터분석 준전문가 (ADsP) / 03 데이터분석
층이 깊은 신경망에서 시그모이드를 쓸 때 생기는 기울기 소실의 뜻으로 옳은 것은?
- 가중치가 모두 0에서 시작합니다
- 역전파로 전달되는 기울기가 층을 지날수록 작아져 앞쪽 층이 거의 배우지 못합니다
- 출력이 모두 1이 됩니다
- 학습률이 자동으로 커집니다
정답과 해설 보기
2. 역전파로 전달되는 기울기가 층을 지날수록 작아져 앞쪽 층이 거의 배우지 못합니다
시그모이드의 기울기는 최대 0.25라 여러 층을 곱하면 기울기가 급격히 작아집니다. ReLU는 양수에서 기울기가 1이라 이 문제를 누그러뜨립니다.
모던지가 직접 쓴 문항입니다. 시행기관과 관계가 없습니다.