방법론은 천재를 위한 것이 아니라 평범한 팀이 매번 같은 품질을 내게 하려고 만든 것입니다.
풀고 시작
문제 1. 분석 방법론 가운데 첫 단계가 "데이터셋 선택"으로 시작해, 문제보다 데이터에서 출발한다는 성격이 가장 뚜렷한 것은 무엇입니까?
KDD는 데이터셋 선택으로 시작해 데이터베이스에서 지식을 캐낸다는 학술 계보의 성격이 뚜렷합니다. CRISP-DM과 빅데이터 분석 방법론은 업무 이해와 분석 기획처럼 문제를 먼저 세우는 단계로 시작합니다.
방법론이 왜 필요한가
뛰어난 분석가 한 사람은 방법론 없이도 좋은 결과를 낼 수 있습니다. 문제는 그 사람이 휴가를 가거나 회사를 떠날 때입니다. 1과목 1강에서 본 암묵지가 여기서도 문제가 되죠. 분석 방법론은 좋은 분석가의 머릿속에 있던 절차를 누구나 따라 할 수 있는 형식지로 꺼내 놓은 것입니다.
방법론은 보통 몇 가지를 함께 정해 둡니다. 어떤 순서로 일할지(절차), 각 단계에서 무엇을 어떻게 할지(방법), 그때 쓸 도구와 기법, 그리고 단계마다 무엇을 남길지(산출물)입니다. 산출물이 정해져 있어야 다음 사람이 앞 단계의 결과를 이어받을 수 있습니다.
방법론은 흔히 세 층으로 쪼개집니다. 가장 큰 덩어리가 단계(phase)이고, 단계는 여러 태스크(task)로, 태스크는 다시 구체적인 스텝(step)으로 나뉩니다. 단계가 끝날 때마다 산출물을 검토하고 다음 단계로 넘어갈지를 정하는 관문을 두는 식이죠. 큰 일을 작게 쪼개 두어야 어디까지 왔는지, 어디서 막혔는지가 보입니다.
일을 흘려보내는 세 가지 모양
방법론을 어떤 모양으로 굴릴지에 따라 소프트웨어 공학에서 온 몇 가지 모델이 쓰입니다.
모델
흐르는 모양
잘 맞는 상황
폭포수 (Waterfall)
앞 단계가 끝나야 다음 단계로 내려갑니다
요구사항이 처음부터 분명하고 잘 바뀌지 않을 때
나선형 (Spiral)
같은 단계를 여러 바퀴 돌며 위험을 줄여 나갑니다
규모가 크고 위험이 많은 프로젝트
프로토타입 (Prototype)
작은 시제품을 먼저 만들어 보여 주고 고쳐 나갑니다
무엇을 원하는지 사용자도 잘 모를 때
폭포수는 물이 아래로만 흐르듯 한 단계를 끝내고 다음으로 넘어갑니다. 관리하기 쉽지만 뒤늦게 요구가 바뀌면 되돌아가기가 무척 어렵습니다. 나선형은 1980년대 배리 뵘이 제안한 방식으로, 한 바퀴를 돌 때마다 위험을 따져 보고 다음 바퀴를 설계합니다. 프로토타입은 완성품 대신 대략의 모습을 먼저 보여 주고 반응을 들어 고쳐 가는 방식이라, 1강의 발견 유형처럼 무엇이 나올지 모르는 분석에 잘 맞습니다. 이 방식은 다음 강의 상향식 과제 발굴과도 이어집니다.
데이터 분석의 대표 방법론
데이터 분석만을 위한 방법론도 여럿 나왔습니다.
KDD(Knowledge Discovery in Databases)는 1996년 파야드 등이 정리한 과정으로, 데이터베이스에서 지식을 발견한다는 학술적 계보를 잇습니다. 데이터셋 선택, 전처리, 변환, 데이터 마이닝, 해석과 평가의 다섯 단계로 흐릅니다.
CRISP-DM(Cross-Industry Standard Process for Data Mining)은 같은 해 SPSS와 NCR 등이 참여한 컨소시엄이 산업 현장을 위해 만든 표준입니다. 여섯 단계로 이뤄지는데, 순서보다 중요한 성질이 둘 있습니다. 하나는 단계 사이를 오간다는 것입니다. 업무 이해와 데이터 이해 사이, 데이터 준비와 모델링 사이는 한 번에 넘어가지 않고 여러 번 왕복합니다. 다른 하나는 전체가 순환한다는 것입니다. 평가에서 기대에 못 미치면 업무 이해로 되돌아가고, 전개가 끝나도 새로운 질문이 생겨 다시 처음으로 돌아옵니다.
SEMMA는 통계 소프트웨어 회사 SAS가 제시한 흐름으로, 표본 추출(Sample), 탐색(Explore), 수정(Modify), 모델링(Model), 평가(Assess)의 머리글자를 딴 이름입니다. 도구를 쓰는 분석 작업 자체에 초점을 둔 흐름이라 업무 이해 같은 앞 단계가 따로 없습니다.
끝으로 빅데이터 환경에 맞춰 정리된 빅데이터 분석 방법론은 분석 기획, 데이터 준비, 데이터 분석, 시스템 구현, 평가 및 전개의 다섯 단계로 흐릅니다.
KDD
CRISP-DM
SEMMA
빅데이터 분석 방법론
데이터셋 선택
업무 이해
표본 추출
분석 기획
전처리
데이터 이해
탐색
데이터 준비
변환
데이터 준비
수정
데이터 분석
데이터 마이닝
모델링
모델링
시스템 구현
해석과 평가
평가
평가
평가 및 전개
전개
네 방법론을 가르는 눈
표를 외우기보다 첫 단계와 마지막 단계를 비교하면 성격이 드러납니다. KDD와 SEMMA는 데이터로 시작하고, CRISP-DM과 빅데이터 분석 방법론은 업무와 기획으로 시작합니다. 앞의 둘이 "데이터가 주어졌을 때 어떻게 캐낼까"를 묻는다면, 뒤의 둘은 "무엇을 풀 것인가"부터 묻는 셈이죠.
마지막도 다릅니다. KDD와 SEMMA는 평가에서 끝나지만 CRISP-DM과 빅데이터 분석 방법론에는 전개가 있습니다. 모델을 실제 업무에 들여놓고 그 뒤를 관리하는 일까지를 방법론 안에 넣은 것입니다. 1과목 5강에서 본 것처럼 분석은 실제 결정에 쓰여야 가치가 생기니, 전개가 방법론에 들어간 것은 자연스러운 흐름입니다. 다음 강에서는 이 방법론의 첫 단계, 곧 풀 과제를 어떻게 찾는지를 봅니다.
인출 문제
문제 1. CRISP-DM의 성질로 가장 적절한 것은?
CRISP-DM은 업무 이해와 데이터 이해, 데이터 준비와 모델링 사이를 오가고 전체가 순환하는 것이 핵심입니다. 데이터셋 선택으로 시작하는 것은 KDD, 한 회사가 제시한 흐름은 SAS의 SEMMA입니다.
문제 2. 분석 방법론을 세 층으로 쪼갤 때 큰 것부터 작은 것 순서로 옳게 나열한 것은?
가장 큰 덩어리가 단계이고, 단계는 여러 태스크로, 태스크는 다시 구체적인 스텝으로 나뉩니다. 큰 일을 이렇게 쪼개 두어야 진행 상황과 막힌 곳이 보입니다.
문제 3. 무엇을 원하는지 사용자도 잘 모르는 분석에서, 대략의 결과를 먼저 보여 주고 반응을 들어 고쳐 가는 모델은 무엇입니까?
완성품 대신 시제품을 먼저 보여 주고 고쳐 가는 것이 프로토타입 모델입니다. 요구가 분명할 때 쓰는 폭포수 모델과 달리, 무엇이 필요한지 모를 때 특히 잘 맞습니다.
문제 4. 네 방법론 가운데 마지막 단계에 "전개"가 들어 있는 것으로만 짝지은 것은?
CRISP-DM과 빅데이터 분석 방법론은 모델을 실제 업무에 들여놓는 전개까지 방법론에 넣었습니다. KDD와 SEMMA는 평가에서 끝납니다.
더 풀기
출제기준의 세부항목을 따라 이 강의 범위에서 새로 낸 문제입니다. 모의고사도 여기에서 뽑습니다.
묶음 1
문제 1. 분석 방법론이 필요한 가장 큰 이유로 가장 알맞은 것은?
방법론은 뛰어난 사람의 암묵지를 누구나 따를 수 있는 절차로 꺼내 놓아, 사람이 바뀌어도 일정한 품질을 내게 합니다. 창의성을 없애거나 시간을 늘리려는 것이 목적이 아닙니다.
문제 2. 분석 방법론에서 단계마다 정해 두는 "산출물"의 역할로 가장 알맞은 것은?
산출물이 정해져 있어야 다음 단계나 다른 사람이 앞 단계의 결과를 받아 이어 갈 수 있습니다. 단계를 넘어갈지 정하는 관문에서도 이 산출물을 검토합니다.
문제 3. 분석 방법론이 흔히 함께 정해 두는 요소로 가장 거리가 먼 것은?
방법론은 절차, 방법, 도구와 기법, 산출물처럼 누구나 따를 수 있는 요소를 정합니다. 개인의 취미나 선호는 누구나 따라 할 수 있는 절차가 아니므로 방법론의 요소가 아닙니다.
문제 4. 폭포수 모델의 약점으로 가장 알맞은 것은?
폭포수 모델은 앞 단계를 끝내고 아래로만 흐르므로, 나중에 요구가 바뀌면 되돌아가기가 어렵습니다. 대신 요구가 처음부터 분명할 때는 관리가 쉽다는 장점이 있습니다.
문제 5. 한 단계를 여러 바퀴 돌면서 매번 위험을 따져 보고 다음 바퀴를 설계하는 모델은 무엇입니까?
나선형 모델은 같은 과정을 여러 바퀴 돌며 매 바퀴마다 위험을 평가해 줄여 나갑니다. 규모가 크고 위험이 많은 프로젝트에 잘 맞습니다.
문제 6. 나선형 모델을 제안한 사람으로 알려진 인물은 누구입니까?
나선형 모델은 1980년대 배리 뵘이 제안한 소프트웨어 개발 모델입니다. 커드는 관계형 모델, 레이니는 3V, 콘웨이는 데이터 사이언스 벤 다이어그램으로 알려져 있습니다.
문제 7. 요구사항이 처음부터 분명하고 거의 바뀌지 않는 프로젝트에 가장 잘 맞는 모델은 무엇입니까?
요구가 분명하고 바뀌지 않으면 앞 단계를 끝내고 다음으로 넘어가는 폭포수 모델이 관리하기 쉽습니다. 요구가 불분명하면 프로토타입, 위험이 크면 나선형이 더 알맞습니다.
문제 8. KDD의 다섯 단계를 순서대로 옳게 나열한 것은?
KDD는 데이터셋 선택으로 시작해 전처리와 변환을 거쳐 데이터 마이닝을 하고 해석과 평가로 끝납니다. 업무 이해로 시작하는 흐름은 CRISP-DM입니다.
문제 9. CRISP-DM의 여섯 단계 가운데 첫 단계는 무엇입니까?
CRISP-DM은 업무 이해로 시작해 데이터 이해, 데이터 준비, 모델링, 평가, 전개로 이어집니다. 데이터셋 선택은 KDD, 표본 추출은 SEMMA의 첫 단계입니다.
문제 10. CRISP-DM에서 여러 번 왕복하는 단계 쌍으로 옳은 것은?
CRISP-DM에서 데이터 준비와 모델링은 한 번에 넘어가지 않고 여러 번 오갑니다. 모델을 돌려 보면 데이터를 다시 손봐야 할 일이 생기기 때문입니다. 업무 이해와 데이터 이해 사이도 같은 이유로 왕복합니다.
묶음 2
문제 1. CRISP-DM에서 평가 결과가 기대에 못 미쳤을 때 돌아가는 단계는 어디입니까?
CRISP-DM은 평가에서 목표에 못 미치면 업무 이해로 돌아가 문제 정의부터 다시 봅니다. 이 되돌아감 때문에 전체가 순환하는 구조가 됩니다.
문제 2. SEMMA라는 이름은 무엇의 머리글자를 딴 것입니까?
SEMMA는 Sample, Explore, Modify, Model, Assess의 머리글자로, 표본 추출, 탐색, 수정, 모델링, 평가의 흐름입니다. 업무 이해 단계가 따로 없다는 점이 특징입니다.
문제 3. SEMMA를 제시한 곳은 어디입니까?
SEMMA는 통계 소프트웨어 회사 SAS가 제시한 분석 흐름입니다. 도구를 쓰는 분석 작업에 초점을 둔 흐름이라 업무 이해 같은 앞 단계가 없습니다.
문제 4. SEMMA가 CRISP-DM과 다른 점으로 가장 알맞은 것은?
SEMMA는 데이터를 뽑는 데서 시작해 평가로 끝나며, 업무를 이해하는 앞 단계와 실제 업무에 들여놓는 전개 단계가 없습니다. 그래서 분석 도구로 하는 작업 자체에 초점을 둔 흐름으로 봅니다.
문제 5. 빅데이터 분석 방법론의 다섯 단계를 순서대로 옳게 나열한 것은?
빅데이터 분석 방법론은 분석 기획으로 시작해 데이터 준비, 데이터 분석, 시스템 구현을 거쳐 평가 및 전개로 끝납니다. 업무 이해로 시작하는 흐름은 CRISP-DM입니다.
문제 6. 빅데이터 분석 방법론에만 있고 CRISP-DM에는 없는 단계는 무엇입니까?
빅데이터 분석 방법론은 분석 결과를 실제 시스템으로 만드는 시스템 구현 단계를 따로 둡니다. 평가와 데이터 준비는 두 방법론에 모두 있고, 모델링은 CRISP-DM의 단계 이름입니다.
문제 7. 첫 단계를 기준으로 방법론을 둘로 나눌 때 옳게 짝지은 것은?
KDD는 데이터셋 선택, SEMMA는 표본 추출로 데이터에서 시작합니다. CRISP-DM은 업무 이해, 빅데이터 분석 방법론은 분석 기획으로 문제부터 세웁니다.
문제 8. 방법론에 "전개" 단계가 들어간 것이 뜻하는 바로 가장 알맞은 것은?
전개는 모델을 현장에 적용하고 이후 성능을 관리하는 단계입니다. 분석은 실제 결정에 쓰여야 가치가 생기므로 이를 방법론 안에 넣은 것입니다.
문제 9. KDD가 속한 계보와 성격으로 가장 알맞은 것은?
KDD는 1996년 파야드 등이 정리한 학술적 과정으로, 이름 그대로 데이터베이스에서 지식을 캐내는 데 초점을 둡니다. 산업 표준은 CRISP-DM, 한 회사의 흐름은 SEMMA입니다.
문제 10. 방법론을 단계, 태스크, 스텝으로 쪼개 두는 이유로 가장 알맞은 것은?
큰 일을 층층이 쪼개면 진행 상황을 파악하고 문제가 생긴 지점을 찾기 쉬워집니다. 단계가 끝날 때마다 산출물을 검토하는 관문을 두기에도 좋습니다.
묶음 3
문제 1. 1강의 발견 유형처럼 무엇이 나올지 모르는 분석에 가장 잘 맞는 개발 모델은 무엇입니까?
발견 유형은 결과가 불확실하므로 작은 시제품을 먼저 만들어 반응을 보며 고쳐 가는 프로토타입 모델이 잘 맞습니다. 요구가 처음부터 분명해야 하는 폭포수 모델은 오히려 맞지 않습니다.
문제 2. 한 분석팀이 모델을 돌려 보니 결측값 처리를 다시 해야 해서 데이터를 손보고 또 모델을 돌렸습니다. CRISP-DM에서 이 장면에 해당하는 것은 무엇입니까?
모델링을 하다 데이터를 다시 손보는 것은 데이터 준비와 모델링 사이의 왕복입니다. CRISP-DM이 이 두 단계를 오가도록 그린 이유가 바로 이런 일이 흔하기 때문입니다.
문제 3. 한 분석팀이 데이터를 보다가 처음 정의한 문제가 잘못되었음을 깨닫고 문제 정의를 고쳤습니다. CRISP-DM에서 이 장면에 해당하는 것은 무엇입니까?
데이터를 이해하다 업무 문제를 다시 정의하는 것은 업무 이해와 데이터 이해 사이의 왕복입니다. 데이터를 들여다봐야 문제가 제대로 보이는 경우가 많아 이 둘을 오가게 그렸습니다.
문제 4. 다음 가운데 방법론과 첫 단계의 짝이 옳지 않은 것은?
빅데이터 분석 방법론의 첫 단계는 분석 기획이고, 데이터 준비는 두 번째 단계입니다. 나머지 셋은 방법론과 첫 단계가 바르게 짝지어졌습니다.
문제 5. CRISP-DM이 산업 현장에서 널리 쓰인 이유로 가장 알맞은 것은?
CRISP-DM은 이름에 교차 산업(Cross-Industry)이 들어가듯 특정 산업이나 도구에 묶이지 않는 표준입니다. 업무 이해부터 전개까지 다루고 단계 사이를 오가는 현실적인 구조를 갖췄습니다.
문제 6. 방법론을 굴릴 모델을 고를 때 "위험이 크고 규모가 큰 프로젝트"에 가장 알맞은 것은?
나선형 모델은 여러 바퀴를 돌며 바퀴마다 위험을 평가해 줄여 나가므로 규모가 크고 위험이 많은 프로젝트에 잘 맞습니다. SEMMA는 개발 모델이 아니라 분석 흐름입니다.
문제 7. 분석 방법론의 단계 끝마다 산출물을 검토하고 다음으로 넘어갈지 정하는 관문을 두는 이유로 가장 알맞은 것은?
관문에서 산출물을 검토하면 앞 단계의 잘못이 다음 단계로 번지기 전에 잡을 수 있습니다. 속도를 위한 장치가 아니라 품질을 지키기 위한 장치입니다.
문제 8. 한 조직이 분석 도구로 데이터를 뽑아 탐색하고 변수를 손본 뒤 모델을 만들어 평가했지만, 그 결과를 업무에 어떻게 쓸지는 정하지 않았습니다. 이 흐름에 가장 가까운 방법론과 그 한계는 무엇입니까?
표본 추출부터 평가까지의 흐름은 SEMMA이고, 이 흐름에는 업무 이해와 전개가 따로 없어 결과를 업무에 쓰는 일이 빠지기 쉽습니다. 그래서 산업 현장에서는 업무 이해와 전개를 담은 방법론이 함께 쓰입니다.
문제 9. 분석 방법론에 관한 진술로 옳지 않은 것은?
폭포수 모델은 앞 단계로 되돌아가기 어려워 요구가 처음부터 분명하고 잘 바뀌지 않을 때 알맞습니다. 요구가 자주 바뀌면 프로토타입이나 나선형 모델이 더 맞습니다. 나머지 셋은 옳은 진술입니다.
문제 10. 좋은 분석가 한 사람에게 기대던 조직이 방법론을 도입했을 때 가장 먼저 얻는 효과는 무엇입니까?
방법론은 한 사람의 암묵지를 누구나 따를 수 있는 절차로 만들어, 사람이 바뀌어도 품질을 유지하게 해 줍니다. 분석가가 필요 없어지거나 모든 분석이 성공하는 것은 아닙니다.