상금 100만 달러가 걸린 대회의 우승 모델이 실제 서비스에는 올라가지 못했습니다. 성능이 나빠서가 아니라 감당할 수 없어서였습니다.
풀고 시작
문제 1. 운영 중인 모델의 성능이 시간이 지나며 떨어졌습니다. 입력 데이터의 분포 자체가 달라진 경우를 가리키는 말은?
입력 변수의 분포가 학습 당시와 달라진 것이 데이터 드리프트입니다. 입력과 출력 사이의 관계 자체가 변한 경우는 개념 드리프트라고 부르며, 둘 다 재학습의 신호입니다.
우승 모델이 배포되지 않은 이유
2006년 넷플릭스는 추천 정확도를 10퍼센트 개선하면 100만 달러를 주겠다는 대회를 엽니다. 3년에 걸친 경쟁 끝에 우승팀이 나왔고, 목표를 넘긴 모델이 완성됩니다. 그런데 넷플릭스는 그 우승 모델을 서비스에 올리지 않았습니다.
이유는 성능이 아니었습니다. 우승 모델은 수많은 모델을 겹겹이 쌓아 올린 거대한 앙상블이라 운영에 필요한 엔지니어링 비용이 개선 효과를 넘어섰습니다. 게다가 그사이 넷플릭스의 사업이 DVD 우편 배송에서 스트리밍으로 옮겨 가면서, 별점 예측이라는 문제 자체의 중요도가 달라져 있었습니다.
이 이야기가 이 강의 요약입니다. 분석의 끝은 모델이 아니라 의사결정입니다. 아무리 좋은 모델도 운영에 얹히지 않으면 0점이고, 문제 자체가 변하면 정답도 함께 낡습니다.
얼마짜리 일이었나
비즈니스 기여도 평가는 분석이 실제로 돈이 됐는지를 따집니다. 자주 나오는 지표는 넷입니다.
투자수익률(ROI)은 얻은 이익을 투입 비용으로 나눈 값이고, 총소유비용(TCO)은 도입 비용만이 아니라 운영과 유지보수까지 포함한 전체 비용입니다. 순현재가치(NPV)는 미래에 들어올 돈을 현재 가치로 환산해 합한 값으로, 0보다 크면 투자할 만하다고 봅니다. 내부수익률(IRR)은 순현재가치를 0으로 만드는 할인율이죠.
시험용으로는 방향만 잡으시면 됩니다. NPV는 클수록, 그리고 0보다 커야 좋고, TCO는 눈에 보이는 구축비만이 아니라 숨은 운영비까지 포함한다는 것이 요점입니다.
진짜 효과인지 확인하기
모델을 붙였더니 매출이 올랐다는 보고는 위험합니다. 계절 때문일 수도, 마침 진행한 프로모션 때문일 수도 있으니까요. 그래서 A/B 테스트를 씁니다. 사용자를 무작위로 두 집단으로 나누어 한쪽에만 새 모델을 적용하고 결과를 비교하는 방식이죠.
무작위 배정이 핵심입니다. 무작위로 나눠야 두 집단이 다른 모든 면에서 비슷해지고, 그때 비로소 차이를 모델의 효과로 돌릴 수 있습니다. 2과목 5강에서 본 상관과 인과의 구분이 실무에서 작동하는 자리가 여기입니다.
배포한 다음이 더 깁니다
모델은 배포하는 순간부터 낡기 시작합니다. 성능이 떨어지는 이유는 크게 둘입니다.
데이터 드리프트는 입력의 분포가 변한 경우입니다. 고객층이 젊어졌다거나 새로운 상품군이 들어왔다거나 하는 변화죠. 개념 드리프트는 더 근본적입니다. 입력과 출력 사이의 관계 자체가 변한 경우로, 예전에는 이탈의 신호였던 행동이 이제는 아닌 상황입니다. 코로나 시기에 수많은 수요 예측 모델이 한꺼번에 무너진 것이 대표적입니다.
그래서 운영에는 모니터링 체계가 붙습니다. 예측 성능 지표, 입력 변수의 분포, 결측률과 이상값 비율을 정기적으로 보고, 기준선 아래로 떨어지면 경보가 울리게 해 둡니다. 그리고 리모델링 기준을 미리 정해 두는 것이 중요합니다. 성능이 얼마나 떨어지면, 혹은 몇 개월마다 다시 학습할지를 정해 두지 않으면 아무도 손대지 않은 채 조용히 나빠지거든요.
마지막으로 설명 가능성입니다. 왜 이 사람의 대출이 거절됐는지 답해야 하는 자리가 늘고 있습니다. 변수 중요도, 부분의존도, 개별 예측의 근거를 보여 주는 SHAP과 LIME 같은 도구가 이 요구에 대응합니다. 성능만 좋은 모델이 현장에서 거부되는 일은 생각보다 흔합니다.
인출 문제
문제 1. 코로나 유행으로 소비 패턴이 근본적으로 바뀌면서 기존 수요 예측 모델의 예측이 크게 빗나갔습니다. 이 상황에 가장 잘 맞는 개념은?
입력과 출력 사이의 관계 자체가 달라졌으므로 개념 드리프트입니다. 입력 변수의 분포만 달라진 경우라면 데이터 드리프트로 구분하며, 두 경우 모두 재학습 또는 모형 재설계가 필요합니다.
문제 2. 새 추천 모델의 효과를 확인하기 위한 A/B 테스트에서 가장 중요한 조건은?
무작위 배정이 있어야 두 집단이 다른 조건에서 비슷해지고, 관측된 차이를 모델의 효과로 해석할 수 있습니다. 특정 집단을 골라 배정하면 선택 편향이 생겨 결과를 신뢰할 수 없습니다.
문제 3. 총소유비용(TCO)에 대한 설명으로 옳은 것은?
TCO는 눈에 보이는 구축비 외에 수명주기 전체에 걸친 비용을 합산합니다. 현재 가치 환산은 NPV, 순현재가치를 0으로 만드는 할인율은 IRR의 정의입니다.
문제 4. 성능이 우수한 모델이 실제 서비스에 배포되지 못하는 이유로 보기 어려운 것은?
검증 점수가 훈련 점수보다 다소 낮은 것은 정상적인 현상이라 배포를 막는 사유가 아닙니다. 반면 운영 비용, 설명 요구, 응답 지연은 모델의 정확도와 별개로 배포를 좌절시키는 현실적인 제약입니다.
더 풀기
출제기준의 세세항목을 따라 이 강의 범위에서 새로 낸 문제입니다. 모의고사도 여기에서 뽑습니다.
묶음 1
문제 1. 투자수익률이 뜻하는 바로 가장 알맞은 것은?
얼마를 넣어 얼마를 벌었는지를 비율로 나타냅니다.
문제 2. 순현재가치에 대한 설명으로 옳은 것은?
화폐의 시간가치를 반영하며 0보다 크면 투자 가치가 있다고 봅니다.
문제 3. 내부수익률의 정의로 옳은 것은?
이 값이 자본비용보다 크면 투자할 만하다고 판단합니다.
문제 4. 총소유비용에 포함되는 항목으로 보기 어려운 것은?
도입부터 폐기까지 우리가 부담하는 모든 비용을 합산한 개념입니다.
문제 5. 분석 결과의 비즈니스 기여도를 평가할 때 가장 먼저 정의해야 할 것은?
무엇을 기준으로 얼마나 나아졌는지 정의해야 기여도를 말할 수 있습니다.
문제 6. A/B 테스트에서 무작위 배정이 필요한 이유로 가장 알맞은 것은?
무작위 배정이 있어야 선택 편향 없이 인과를 말할 수 있습니다.
문제 7. A/B 테스트 도중 유의해질 때까지 반복해 결과를 확인하는 행위의 문제로 가장 알맞은 것은?
사전에 표본 크기와 기간을 정하거나 순차 검정 방법을 써야 합니다.
문제 8. A/A 테스트를 수행하는 목적으로 가장 알맞은 것은?
배정과 집계에 문제가 있으면 A/A에서도 차이가 나타납니다.
문제 9. 실험이 불가능한 상황에서 효과를 추정하는 방법으로 보기 어려운 것은?
상관만으로는 효과를 추정할 수 없습니다. 나머지는 준실험 설계 방법입니다.
문제 10. 모델을 배포하는 방식 가운데 일부 트래픽에만 먼저 적용해 위험을 줄이는 것은?
소수에게 먼저 노출해 문제를 확인한 뒤 비중을 늘립니다.
문제 11. 섀도 배포에 대한 설명으로 옳은 것은?
위험 없이 운영 환경에서의 동작과 성능을 확인할 수 있습니다.
문제 12. 모델 배포 후 롤백 계획이 필요한 이유로 가장 알맞은 것은?
되돌릴 수 없는 배포는 그 자체가 위험입니다.
묶음 2
문제 1. 데이터 드리프트에 대한 설명으로 옳은 것은?
입력 분포의 변화가 데이터 드리프트, 입력과 결과의 관계 변화가 개념 드리프트입니다.
문제 2. 개념 드리프트의 예로 가장 알맞은 것은?
관계 자체가 변했으므로 재학습이 필요합니다.
문제 3. 라벨이 늦게 확정되는 문제에서 성능 모니터링 방법으로 가장 알맞은 것은?
실제 성능이 늦게 나오는 동안 이상 징후를 조기에 잡기 위한 장치입니다.
문제 4. 모니터링 대상으로 보기 어려운 것은?
근무 시간은 모델 운영 지표가 아닙니다.
문제 5. 재학습 주기를 정할 때 고려할 요소로 보기 어려운 것은?
변화 속도와 비용, 위험이 주기를 결정합니다.
문제 6. 모델 성능이 떨어졌을 때 재학습보다 먼저 확인할 것으로 가장 알맞은 것은?
성능 저하의 상당수는 모델이 아니라 데이터 공급 문제에서 옵니다.
문제 7. 모델 레지스트리를 두는 목적으로 가장 알맞은 것은?
어떤 버전이 어떤 데이터로 학습되어 배포되었는지 추적할 수 있어야 합니다.
문제 8. 피처 스토어의 목적으로 가장 알맞은 것은?
학습 때와 서빙 때 변수 계산이 달라지는 사고를 막는 장치입니다.
문제 9. 학습과 서빙의 변수 계산이 어긋날 때 나타나는 현상으로 가장 알맞은 것은?
원인을 모델에서 찾다가 시간을 낭비하기 쉬운 대표적 사고입니다.
문제 10. 예측 결과에 대한 설명을 제공해야 하는 상황으로 가장 알맞은 것은?
불이익한 자동화 결정에는 설명과 이의 제기 절차가 요구됩니다.
문제 11. 모델 카드나 문서화를 남기는 이유로 가장 알맞은 것은?
어떤 상황에서 쓰면 안 되는지를 적어 두는 것이 특히 중요합니다.
문제 12. 모델이 만든 결정이 다시 데이터를 만드는 되먹임 고리의 위험으로 가장 알맞은 것은?
추천이 노출을 결정하고 노출이 다시 학습 데이터가 되는 구조가 대표적입니다.
묶음 3
문제 1. 분석 결과를 업무에 전개할 때 현업의 저항을 줄이는 방법으로 가장 알맞은 것은?