신경망은 책 한 권 때문에 이십 년 가까이 얼어붙었습니다. 그 책이 지적한 것은 딱 하나, 배타적 논리합을 풀 수 없다는 사실이었습니다.
풀고 시작
문제 1. 단층 퍼셉트론이 XOR 문제를 풀지 못하는 이유는?
XOR은 대각선으로 마주 보는 점끼리 같은 클래스라 직선 한 개로 갈리지 않습니다. 은닉층을 하나 넣어 공간을 접으면 풀리며, 이것이 다층 퍼셉트론이 필요한 이유입니다.
책 한 권이 만든 겨울
1958년 프랭크 로젠블랫이 퍼셉트론을 발표했을 때 반응은 뜨거웠습니다. 스스로 배우는 기계가 나왔다는 이야기였죠. 그런데 1969년, 마빈 민스키와 시모어 페퍼트가 퍼셉트론의 한계를 수학적으로 정리한 책을 냅니다. 핵심 지적은 의외로 소박했습니다. XOR조차 풀지 못한다는 것이었죠.
XOR은 두 입력이 서로 다를 때만 참이 되는 연산입니다. 좌표에 찍어 보면 대각선으로 마주 보는 점끼리 같은 편이라, 직선 하나로는 절대 갈라지지 않습니다. 단층 퍼셉트론은 직선 하나를 긋는 기계였으니 여기서 멈춘 것이죠. 이 지적 이후 신경망 연구는 오랫동안 자금과 관심에서 밀려납니다. 첫 번째 AI 겨울입니다.
해법은 이미 알려져 있었습니다. 층을 하나 더 쌓으면 됩니다. 문제는 여러 층의 가중치를 어떻게 조정하느냐였고, 1986년 러멜하트와 힌턴, 윌리엄스가 역전파를 널리 알리면서 이 자물쇠가 풀립니다. 오늘날 딥러닝의 학습은 전부 이 방식입니다.
순전파와 역전파
신경망의 계산은 두 방향입니다. 순전파는 입력이 층을 타고 흘러 예측값이 나오는 과정이고, 역전파는 예측과 정답의 차이를 거꾸로 흘려보내며 각 가중치가 오차에 얼마나 기여했는지 계산하는 과정입니다. 그 기여도만큼 가중치를 조금씩 고치는데, 얼마나 크게 고칠지를 정하는 값이 학습률입니다.
학습률은 언덕을 내려가는 보폭입니다. 너무 크면 골짜기를 건너뛰어 진동하고, 너무 작으면 도착 전에 시간이 다 갑니다. 경사를 계산하는 데이터의 양에 따라 배치, 미니배치, 확률적 경사하강법으로 갈리고, 관성을 붙이거나 학습률을 자동 조절하는 아담 같은 최적화 기법이 실무 기본값입니다.
활성화 함수라는 관문
층 사이마다 활성화 함수가 있습니다. 이것이 없으면 층을 아무리 쌓아도 선형변환의 연속이라 결국 직선 하나와 같아지므로, 비선형성이 신경망의 존재 이유입니다.
함수
출력 범위
쓰임
시그모이드
0에서 1
이진 분류의 출력층
하이퍼볼릭 탄젠트
마이너스 1에서 1
은닉층, 시그모이드보다 중심이 잡힘
ReLU
0 이상
은닉층의 기본값
소프트맥스
합이 1인 확률
다중 분류의 출력층
ReLU가 표준이 된 이유가 중요합니다. 시그모이드는 입력이 크거나 작으면 기울기가 거의 0이 됩니다. 역전파는 각 층의 기울기를 곱해 가며 뒤로 전달하는데, 0에 가까운 수를 여러 번 곱하면 앞쪽 층에 도달할 때쯤 신호가 사라져 버리죠. 이것이 기울기 소실이고 깊은 망을 학습 불가능하게 만든 주범이었습니다. ReLU는 양수 구간에서 기울기가 1로 일정해 이 문제를 크게 덜어 줍니다.
데이터의 모양에 맞춘 구조
합성곱 신경망(CNN)은 이미지를 위한 구조입니다. 작은 필터를 이미지 위로 훑으면서 국소적인 무늬를 잡아내고, 그 필터를 이미지 전체에서 공유합니다. 덕분에 가중치 수가 확 줄고, 고양이가 왼쪽에 있든 오른쪽에 있든 같은 필터로 잡아낼 수 있죠. 뒤따르는 풀링 층은 영역의 대푯값만 남겨 크기를 줄이고 작은 위치 변화에 둔감하게 만듭니다.
순환 신경망(RNN)은 순서가 있는 데이터를 위한 구조입니다. 이전 시점의 상태를 다음 시점으로 넘겨 기억을 흉내 내죠. 다만 시퀀스가 길어지면 여기서도 기울기 소실이 나타나 앞부분을 잊습니다. 그래서 무엇을 기억하고 버릴지 조절하는 문을 단 LSTM과 GRU가 나왔고, 오늘날 자연어 처리의 주류는 트랜스포머 계열로 넘어갔습니다.
시험에서는 구조의 이름과 용도, 그리고 각 구성 요소가 무엇을 위한 것인지를 묻습니다. 수식보다 왜 그 구조가 그 데이터에 맞는가를 잡아 두시면 됩니다.
인출 문제
문제 1. 은닉층의 활성화 함수로 ReLU가 널리 쓰이는 가장 큰 이유는?
시그모이드는 양 끝에서 기울기가 0에 가까워지고, 이 값들이 층마다 곱해지면서 앞쪽 층의 학습 신호가 사라집니다. ReLU는 양수 구간의 기울기가 1로 유지되어 이 문제를 크게 완화합니다.
문제 2. 세 개 이상의 클래스를 분류하는 신경망의 출력층에 적합한 활성화 함수는?
소프트맥스는 각 클래스의 점수를 합이 1인 확률로 바꿔 주므로 다중 분류 출력층에 맞습니다. 시그모이드는 이진 분류 출력층에, ReLU와 하이퍼볼릭 탄젠트는 은닉층에 주로 쓰입니다.
문제 3. 합성곱 신경망에서 같은 필터를 이미지 전체에 반복 적용하는 것이 주는 이점은?
가중치 공유 덕분에 완전연결층에 비해 파라미터가 극적으로 줄어들고, 같은 무늬가 이미지 어디에 있어도 동일하게 반응합니다. 위치 변화에 대한 둔감함은 뒤따르는 풀링이 더 강화합니다.
문제 4. 활성화 함수 없이 선형 층만 여러 개 쌓으면 생기는 일은?
선형변환을 연달아 적용해도 결과는 또 하나의 선형변환입니다. 층을 쌓아 복잡한 관계를 표현하려면 사이사이에 비선형 함수가 반드시 있어야 합니다.
더 풀기
출제기준의 세세항목을 따라 이 강의 범위에서 새로 낸 문제입니다. 모의고사도 여기에서 뽑습니다.
묶음 1
문제 1. 퍼셉트론이 풀 수 없다고 지적된 대표적 문제는?
배타적 논리합은 하나의 직선으로 나눌 수 없습니다. 은닉층을 더한 다층 구조가 해법이었습니다.
문제 2. 역전파 알고리즘이 하는 일로 옳은 것은?
연쇄법칙으로 기울기를 구해 가중치를 갱신합니다.
문제 3. 활성화 함수가 필요한 이유로 가장 알맞은 것은?
선형 함수의 합성은 여전히 선형입니다. 비선형 활성화가 표현력을 만듭니다.
문제 4. 다중 분류의 출력층에 쓰이는 활성화 함수는?
출력의 합이 1인 확률 벡터를 만들어 클래스별 확률로 읽게 합니다.
문제 5. 시그모이드 함수가 깊은 신경망의 은닉층에서 잘 쓰이지 않는 이유로 가장 알맞은 것은?
기울기 소실 문제입니다. ReLU 계열이 그 대안으로 자리 잡았습니다.
문제 6. ReLU의 단점으로 알려진 현상은?
죽은 ReLU 문제라고 부르며 리키 ReLU 등으로 완화합니다.
문제 7. 손실함수로 교차엔트로피를 쓰는 문제 유형은?
확률 예측과 실제 라벨의 차이를 재기에 적합합니다. 회귀에는 평균제곱오차를 씁니다.
문제 8. 경사하강법에서 학습률이 너무 크면 나타나는 현상은?
한 걸음이 너무 커서 골짜기를 건너뛰게 됩니다.
문제 9. 확률적 경사하강법이 전체 배치 경사하강법보다 유리한 점으로 가장 알맞은 것은?
잡음이 섞인 기울기가 오히려 탐색에 도움이 되기도 합니다.
문제 10. 미니배치 크기를 키울 때의 일반적 경향으로 옳은 것은?
배치 크기와 학습률은 함께 조정해야 합니다.
문제 11. 아담 최적화기의 특징으로 옳은 것은?
모멘텀과 적응적 학습률을 결합한 방법입니다.
문제 12. 가중치 초기화가 중요한 이유로 가장 알맞은 것은?
층의 크기에 맞춘 초기화 방법들이 제안된 이유입니다.
묶음 2
문제 1. 드롭아웃이 과대적합을 줄이는 원리로 가장 알맞은 것은?
여러 부분망을 평균 내는 효과를 냅니다. 추론 시에는 모든 뉴런을 씁니다.
문제 2. 배치 정규화의 효과로 가장 알맞은 것은?
큰 학습률을 쓸 수 있게 해 주고 약한 규제 효과도 있습니다.
문제 3. 합성곱 신경망이 이미지에 적합한 이유로 가장 알맞은 것은?
필터를 옮겨 가며 적용하므로 매개변수가 적고 이동에 강합니다.
문제 4. 풀링 층의 역할로 가장 알맞은 것은?
최대 풀링이 대표적이며 특징의 위치보다 존재에 집중하게 합니다.
문제 5. 순환 신경망이 다루기에 적합한 데이터는?
이전 시점의 상태를 다음 계산에 넘겨 순서 정보를 담습니다.
문제 6. LSTM이 기본 순환 신경망의 어떤 문제를 완화하나요?
게이트 구조로 정보를 오래 유지하거나 잊도록 학습합니다.
문제 7. 오토인코더의 목적으로 가장 알맞은 것은?
비지도 방식의 표현 학습이며 이상 탐지에도 쓰입니다.
문제 8. 전이학습의 기본 아이디어로 옳은 것은?
데이터가 적을 때 성능을 크게 끌어올리는 표준 전략입니다.
문제 9. 데이터 증강이 주는 효과로 가장 알맞은 것은?
회전이나 반전처럼 라벨이 유지되는 변형을 씁니다. 의미가 바뀌는 변형은 피해야 합니다.
문제 10. 기울기 폭발에 대한 대응으로 가장 알맞은 것은?
순환 신경망 학습에서 특히 자주 쓰이는 안정화 기법입니다.
문제 11. 딥러닝 모델의 해석을 돕는 방법으로 보기 어려운 것은?
학습률은 최적화 설정입니다. 나머지는 설명을 위한 도구입니다.
문제 12. 신경망에 표준화된 입력을 넣는 이유로 가장 알맞은 것은?
척도가 비슷해야 기울기의 방향이 왜곡되지 않습니다.
묶음 3
문제 1. 은닉층과 뉴런 수를 늘릴 때의 일반적 경향으로 옳은 것은?
규제와 데이터 양이 뒷받침되지 않으면 성능이 나빠질 수 있습니다.
문제 2. 검증 손실은 오르는데 훈련 손실이 계속 떨어진다면 취할 조치로 가장 알맞은 것은?