빅데이터분석기사 (빅분기) / 03 모델링
은닉층의 활성화 함수로 ReLU가 널리 쓰이는 가장 큰 이유는?
- 항상 미분 가능해서
- 계산에 지수 함수를 사용해서
- 출력이 0과 1 사이로 제한되어서
- 양수 구간에서 기울기가 일정해 깊은 망에서도 기울기 소실이 덜 발생하기 때문
정답과 해설 보기
4. 양수 구간에서 기울기가 일정해 깊은 망에서도 기울기 소실이 덜 발생하기 때문
시그모이드는 양 끝에서 기울기가 0에 가까워지고, 이 값들이 층마다 곱해지면서 앞쪽 층의 학습 신호가 사라집니다. ReLU는 양수 구간의 기울기가 1로 유지되어 이 문제를 크게 완화합니다.
모던지가 직접 쓴 문항입니다. 시행기관과 관계가 없습니다.