어떤 오차 지표를 고르느냐에 따라 최고의 모델이 바뀝니다. 지표는 채점 기준이 아니라 우리가 무엇을 더 싫어하는지에 대한 선언입니다.
풀고 시작
문제 1. 예측 오차를 제곱해서 평균 낸 뒤 제곱근을 취한 지표는?
제곱해서 더한 뒤 제곱근으로 되돌리는 것이 RMSE이고, 원래 단위로 해석할 수 있다는 장점이 있습니다. 절댓값을 평균한 것이 MAE, 오차를 실제값으로 나눠 백분율로 본 것이 MAPE입니다.
큰 실수 하나와 작은 실수 여럿
수요 예측 모델 두 개가 있다고 해 보죠. A는 모든 날짜에서 10개씩 틀립니다. B는 거의 모든 날짜를 정확히 맞히는데 딱 하루를 100개 틀립니다. 어느 쪽이 더 나은 모델일까요.
MAE로 보면 B가 낫고, RMSE로 보면 A가 낫습니다. MAE는 오차를 그냥 더하니 총량이 비슷하면 비슷하게 평가하지만, RMSE는 제곱을 하므로 큰 오차 하나가 작은 오차 열 개보다 훨씬 크게 벌 받거든요.
정답은 상황에 있습니다. 재고가 하루라도 크게 비면 매장이 마비되는 상황이면 RMSE가 맞는 지표이고, 오차의 총합만큼 비용이 쌓이는 상황이면 MAE가 맞습니다. 지표를 고르는 일은 어떤 실패를 더 싫어하는지 정하는 일입니다. 이 결정을 하지 않고 관행대로 RMSE를 쓰면, 아무도 원하지 않는 방향으로 모델이 최적화됩니다.
지표
성질
주의
MAE
오차의 절댓값 평균
이상값에 덜 민감
MSE, RMSE
제곱해서 평균, RMSE는 제곱근
큰 오차에 크게 반응, RMSE는 원래 단위
MAPE
오차를 실제값 대비 백분율로
실제값이 0에 가까우면 폭발, 과소예측과 과대예측에 비대칭
결정계수
전체 변동 중 설명한 비율
변수를 늘리면 무조건 오르므로 수정 결정계수와 함께
모델을 고르는 저울, AIC와 BIC
설명력만 보면 복잡한 모델이 언제나 이깁니다. 그래서 적합도와 복잡도를 함께 저울에 올리는 기준이 필요하죠. 그것이 AIC와 BIC입니다.
둘 다 값이 작을수록 좋은 모델이고, 모두 "얼마나 잘 맞았는가"에서 "얼마나 복잡한가"를 빼는 구조입니다. 차이는 벌점의 세기입니다. BIC는 표본 크기를 반영한 더 무거운 벌점을 매기므로, 표본이 크면 AIC보다 더 단순한 모델을 고르는 경향이 있습니다. 시험에서는 이 방향만 기억하시면 충분합니다.
계수가 우연인지 확인하기
회귀 결과표에는 검정이 두 층으로 붙습니다.
개별 계수의 t검정은 그 변수의 계수가 0인지를 봅니다. 귀무가설은 "이 계수는 0이다", 즉 이 변수는 종속변수와 관계가 없다는 것이죠. p값이 유의수준보다 작으면 관계가 있다고 판단합니다.
모형 전체의 F검정은 모든 계수가 동시에 0인지를 봅니다. 귀무가설은 "이 모형의 설명변수들은 아무 도움이 안 된다"입니다. 여기서 유의하지 않으면 개별 계수를 볼 필요도 없죠. 반대로 F는 유의한데 개별 t는 하나도 유의하지 않은 상황이 나올 수 있는데, 2과목에서 본 다중공선성의 신호입니다.
가정이 지켜졌는지 확인하기
적합도 검정은 데이터가 특정 분포나 모형에 잘 맞는지를 봅니다. 관측 빈도와 기대 빈도를 비교하는 카이제곱 적합도 검정이 대표적이고, 여기서는 귀무가설이 "관측된 분포가 기대 분포와 같다"이므로 p값이 크게 나오는 것이 좋은 신호입니다. 유의성 검정에서 늘 작은 p값을 바라다가 여기서 방향을 뒤집지 못하고 틀리는 사람이 많습니다.
잔차의 정규성은 샤피로윌크 검정이나 콜모고로프스미르노프 검정으로 보고, 그림으로는 Q-Q 도표를 씁니다. 점들이 대각선 위에 놓이면 정규에 가깝죠. 시계열 잔차의 자기상관은 더빈왓슨 통계량으로 봅니다. 2 근처면 자기상관이 거의 없고, 0에 가까우면 양의 자기상관, 4에 가까우면 음의 자기상관입니다.
인출 문제
문제 1. 큰 오차 하나를 특별히 무겁게 벌하고 싶을 때 적절한 평가지표는?
RMSE는 오차를 제곱한 뒤 평균하므로 큰 오차 하나가 지표를 크게 끌어올립니다. MAE는 절댓값을 그대로 더해 이상값의 영향이 상대적으로 작고, MAPE는 상대 오차를 보는 지표입니다.
문제 2. AIC와 BIC에 대한 설명으로 옳은 것은?
두 지표 모두 적합도에서 복잡도 벌점을 빼는 구조이고 작을수록 좋습니다. BIC의 벌점에는 표본 크기가 들어가므로 표본이 클수록 더 단순한 모형을 선호하게 됩니다.
문제 3. 카이제곱 적합도 검정에서 p값이 0.001로 나왔습니다. 어떻게 해석해야 하나요?
적합도 검정의 귀무가설은 관측 분포와 기대 분포가 같다는 것입니다. p값이 작으면 이 가설을 기각하므로 잘 맞지 않는다는 결론이 되며, 여기서는 p값이 큰 쪽이 좋은 신호입니다.
문제 4. 회귀분석 결과에서 F검정은 유의한데 개별 계수의 t검정은 모두 유의하지 않았습니다. 가장 가능성이 높은 원인은?
변수들이 서로 겹치면 설명력은 함께 만들어 내지만 각자의 몫이 불안정해져 개별 유의성이 사라집니다. 모형 전체를 보는 F검정과 개별 계수를 보는 t검정의 결과가 엇갈리는 전형적인 사례입니다.
더 풀기
출제기준의 세세항목을 따라 이 강의 범위에서 새로 낸 문제입니다. 모의고사도 여기에서 뽑습니다.
묶음 1
문제 1. 이상값이 있을 때 MAE보다 RMSE가 크게 반응하는 이유로 옳은 것은?
제곱은 큰 값을 더 크게 만듭니다. 큰 실수 하나를 특히 피하고 싶을 때 RMSE가 적절합니다.
문제 2. RMSE의 장점으로 가장 알맞은 것은?
MSE는 단위가 제곱이라 해석이 어렵지만 제곱근을 취하면 원 단위로 돌아옵니다.
문제 3. MAPE를 쓸 때 주의할 점으로 가장 알맞은 것은?
수요가 0인 날이 섞이면 지표가 무너집니다. 대칭 버전이나 다른 지표를 함께 씁니다.
문제 4. 결정계수가 음수가 나올 수 있는 상황으로 옳은 것은?
훈련 데이터에서는 0 이상이지만 새로운 데이터에서는 음수가 될 수 있습니다.
문제 5. 수정 결정계수가 결정계수보다 작아지는 경우로 옳은 것은?
변수 수에 벌점을 주므로 쓸모없는 변수가 있으면 값이 내려갑니다.
문제 6. AIC와 BIC의 공통점으로 옳은 것은?
두 지표 모두 작을수록 선호되며 최대우도에 벌점을 붙인 형태입니다.
문제 7. BIC가 AIC보다 단순한 모형을 고르는 경향이 있는 이유로 옳은 것은?
표본이 커질수록 BIC의 벌점이 커집니다.
문제 8. 회귀 모형의 잔차가 특정 구간에서만 크다면 취할 조치로 가장 알맞은 것은?
잔차의 패턴은 모형이 놓친 구조의 흔적입니다.
문제 9. 예측값과 실제값을 축으로 그린 산점도에서 확인할 수 있는 것은?
대각선에서 벗어나는 방향과 구간을 보면 편향의 패턴이 보입니다.
문제 10. 회귀 모형의 성능을 비교할 때 같은 데이터 분할을 써야 하는 이유로 가장 알맞은 것은?
비교의 공정성을 위해 조건을 맞춰야 합니다.
문제 11. 카이제곱 적합도 검정의 용도로 옳은 것은?
주사위가 공정한지 같은 물음에 쓰입니다.
문제 12. 모형의 계수가 통계적으로 유의하지 않다는 것의 의미로 가장 알맞은 것은?
증거의 부재는 부재의 증거가 아닙니다. 표본이 작으면 있는 효과도 유의하지 않게 나옵니다.
묶음 2
문제 1. 잔차의 정규성이 특히 중요해지는 상황으로 가장 알맞은 것은?
표본이 크면 중심극한정리 덕분에 완화되고, 순수 예측이 목적이면 덜 중요합니다.
문제 2. 등분산성 검정 방법으로 가장 알맞은 것은?
잔차 제곱을 설명변수로 회귀해 이분산을 검정합니다.
문제 3. 자기상관이 있는 잔차를 그대로 두었을 때의 문제로 가장 알맞은 것은?
시계열 회귀에서 특히 자주 생기며 잘못된 결론으로 이어집니다.
문제 4. 이분산에 대응하는 방법으로 보기 어려운 것은?
표본 삭제는 해결책이 아닙니다.
문제 5. 회귀 진단에서 부분회귀도표를 보는 이유로 가장 알맞은 것은?
다중회귀에서 개별 변수의 순수한 관계를 시각적으로 확인합니다.
문제 6. 모형 선택에서 교차검증 오차와 정보기준이 다른 결론을 줄 때의 태도로 가장 알맞은 것은?
무엇을 위한 모형인지가 기준을 정합니다.
문제 7. 로그를 취한 종속변수의 예측값을 원래 단위로 되돌릴 때 주의할 점으로 가장 알맞은 것은?
로그 정규분포의 성질 때문에 스미어링 보정 등을 씁니다.
문제 8. 예측 성능이 훈련보다 검증에서 크게 나쁘고 잔차 분포도 다르다면 우선 의심할 것은?
두 가능성을 먼저 갈라내야 대응이 달라집니다.
문제 9. 여러 회귀 모형을 비교할 때 결정계수만으로 판단하면 안 되는 이유로 가장 알맞은 것은?
수정 결정계수와 검증 오차를 함께 봐야 합니다.
문제 10. 잔차의 평균이 0이 아닌 회귀 결과가 나왔다면 가장 먼저 확인할 것은?
절편이 있는 최소제곱 적합에서는 잔차의 평균이 0이 됩니다.
문제 11. 모형의 적합도와 예측력의 관계로 옳은 것은?
과대적합이 바로 그 간극에서 생깁니다.
문제 12. 회귀 결과 보고에 반드시 포함해야 할 항목으로 보기 어려운 것은?
하드웨어는 결론의 타당성과 무관합니다.
묶음 3
문제 1. 예측 오차를 편향과 분산으로 나누어 볼 때 데이터를 더 모으면 주로 줄어드는 것은?
데이터가 늘면 추정의 흔들림이 줄어듭니다. 모형이 틀린 데서 오는 편향은 그대로입니다.
문제 2. 잔차 제곱합과 총제곱합의 관계로 옳은 것은?
이 분해에서 결정계수가 나옵니다.
문제 3. 회귀에서 표본 외 성능을 추정하는 가장 신뢰할 만한 방법은?
학습에 쓰지 않은 데이터로 재야 일반화 성능이 됩니다.
문제 4. 시계열 회귀에서 검증 방식으로 가장 알맞은 것은?
미래 정보의 누출을 막기 위해 시간 순서를 지켜야 합니다.
문제 5. 모형이 특정 구간에서 체계적으로 과소예측한다면 가능한 원인으로 보기 어려운 것은?