분석 프로젝트가 망하는 가장 흔한 이유는 모델이 나빠서가 아닙니다. 무엇을 풀지 정하지 않은 채 데이터부터 열어서입니다.
풀고 시작
문제 1. 무엇을 풀어야 할지는 알지만 어떻게 풀지는 모르는 상황에 해당하는 분석 유형은?
분석 대상은 알려져 있고 방법이 알려지지 않았을 때가 솔루션입니다. 둘 다 알려져 있으면 최적화, 방법만 알려져 있으면 통찰, 둘 다 모르면 발견입니다. 대상과 방법이라는 두 축을 늘 먼저 그려 보세요.
무엇을 아는지부터 그립니다
분석 기획의 첫 그림은 사분면 하나입니다. 축은 둘입니다. 분석 대상을 아는가와 분석 방법을 아는가.
방법을 안다
방법을 모른다
대상을 안다
최적화 (Optimization)
솔루션 (Solution)
대상을 모른다
통찰 (Insight)
발견 (Discovery)
이 표가 시험에 나오는 이유는 단순합니다. 사람들이 자기 프로젝트가 어느 칸인지 모른 채 시작하기 때문이죠. 대상도 방법도 아는 최적화 과제라면 목표는 성능을 몇 퍼센트 올리는 것입니다. 반대로 발견 과제인데 최적화처럼 관리하면, 정해진 일정 안에 나오지 않는 결과를 두고 서로를 탓하게 됩니다.
접근 방식도 둘로 갈립니다. 하향식은 문제를 먼저 정의하고 내려갑니다. 문제 탐색, 문제 정의, 해결 방안 탐색, 타당성 검토 순이죠. 상향식은 데이터를 먼저 보면서 문제를 찾아 올라갑니다. 무엇이 문제인지조차 모호할 때 쓰며, 디자인 사고와 프로토타이핑이 이쪽 도구입니다. 시험은 "문제가 명확하지 않을 때" 상향식을 정답으로 놓는 편입니다.
방법론 세 개, 순서만 잡으면 됩니다
KDD는 데이터베이스에서 지식을 캐낸다는 학술 쪽 계보입니다. 데이터셋 선택, 전처리, 변환, 데이터 마이닝, 해석과 평가의 다섯 단계죠.
CRISP-DM은 1996년 다임러크라이슬러와 SPSS, NCR이 모여 만든 산업 표준입니다. 여섯 단계인데, 순서보다 중요한 것이 순환이라는 성질입니다. 마지막 전개까지 갔다가 다시 업무 이해로 돌아옵니다. 실무에서 한 번에 끝나는 분석 프로젝트가 없다는 사실을 방법론이 인정한 셈이죠.
KDD (5단계)
CRISP-DM (6단계)
빅데이터 분석 방법론 (5단계)
데이터셋 선택
업무 이해
분석 기획
전처리
데이터 이해
데이터 준비
변환
데이터 준비
데이터 분석
데이터 마이닝
모델링
시스템 구현
해석과 평가
평가
평가 및 전개
전개
세 방법론의 첫 단계를 비교하면 성격이 드러납니다. KDD는 데이터 선택으로 시작하고, CRISP-DM과 빅데이터 분석 방법론은 업무와 기획으로 시작합니다. 데이터가 아니라 문제가 먼저라는 뜻이죠.
무엇부터 할 것인가
분석 과제를 늘어놓고 나면 순서를 정해야 합니다. 여기서 ROI 관점이 등장하는데, 4V가 두 편으로 갈립니다. 규모, 다양성, 속도는 투자 비용 쪽이고 가치는 비즈니스 효과 쪽입니다. 데이터가 크고 다양하고 빠를수록 돈이 더 들고, 그 대가로 얻는 것이 가치라는 이야기입니다.
실무 순서는 시급성과 난이도의 사분면으로 정합니다. 지금 급하면서 하기도 쉬운 과제가 언제나 1순위이고, 나중 일이면서 어렵기까지 한 과제가 꼴찌입니다. 나머지 둘의 순서는 조직이 무엇을 중시하느냐에 따라 갈립니다. 시급성을 앞세우면 급한 것부터, 난이도를 앞세우면 쉬운 것부터 손대죠.
조직의 상태를 재는 자도 둘입니다. 분석 준비도는 분석 업무, 인력과 조직, 분석 기법, 분석 데이터, 분석 문화, IT 인프라 여섯 영역을 점검합니다. 분석 성숙도는 도입, 활용, 확산, 최적화 네 단계로 어디까지 왔는지를 봅니다. 둘을 겹치면 준비도와 성숙도가 모두 낮은 도입형부터, 둘 다 높은 확산형까지 조직 유형이 나옵니다.
분석 조직의 생김새도 셋입니다. 전담 조직이 모든 분석을 가져가는 집중형, 현업 부서가 각자 하는 기능형, 전담 인력을 각 부서에 심어 두는 분산형입니다. 기능형은 전사 관점의 중복 분석이 생기기 쉽고, 분산형은 신속한 대응과 전사 표준을 동시에 노리는 절충안이죠.
인출 문제
문제 1. CRISP-DM의 단계 순서로 옳은 것은?
업무를 이해하는 것이 언제나 먼저입니다. 그다음 데이터를 이해하고, 준비하고, 모델링하고, 평가한 뒤 전개합니다. 전개에서 다시 업무 이해로 돌아가는 순환 구조라는 점도 함께 기억해 두세요.
문제 2. 분석 과제 우선순위를 시급성과 난이도로 판단할 때, 가장 먼저 착수하는 것이 일반적인 과제는?
지금 필요하면서 실행도 수월한 과제가 언제나 1순위이고, 나중 일이면서 어렵기까지 한 과제가 가장 후순위입니다. 나머지 두 칸의 순서는 조직이 시급성과 난이도 중 무엇을 앞세우느냐에 따라 달라집니다.
문제 3. 분석 과제의 ROI를 따질 때 투자 비용 요소로 묶이는 것끼리 짝지은 것은?
데이터가 크고(규모) 종류가 많고(다양성) 빠르게 들어올수록(속도) 시스템과 인력에 돈이 더 듭니다. 가치는 그 투자로 회수하는 비즈니스 효과 쪽에 놓입니다.
문제 4. 문제가 무엇인지조차 명확하지 않은 상황에서 데이터를 살피며 과제를 찾아가는 접근에 해당하는 것은?
문제가 흐릿할 때는 데이터에서 출발해 올라오는 상향식이 맞습니다. 하향식은 문제 탐색과 정의가 선행될 수 있을 때 쓰는 방식이고, 타당성 검토는 해결 방안을 찾은 뒤에 오는 단계입니다.
더 풀기
출제기준의 세세항목을 따라 이 강의 범위에서 새로 낸 문제입니다. 모의고사도 여기에서 뽑습니다.
묶음 1
문제 1. 분석 대상은 알지만 방법을 모를 때 취하는 분석 주제 유형은?
무엇을 풀지는 알지만 어떻게 풀지 모를 때는 방법을 찾는 솔루션 유형입니다. 둘 다 알면 최적화, 대상을 모르고 방법만 알면 통찰, 둘 다 모르면 발견입니다.
문제 2. 분석 대상과 방법을 모두 모를 때의 유형은?
무엇을 물어야 할지부터 찾아야 하는 상태가 발견입니다. 탐색적 분석으로 문제 자체를 만들어 내는 단계입니다.
문제 3. KDD 분석 절차의 단계로 옳게 묶인 것은?
다섯 단계로 이루어진 것이 KDD입니다. 첫 번째 보기는 CRISP-DM 6단계, 세 번째는 빅데이터 분석 방법론 5단계입니다.
문제 4. CRISP-DM의 단계 수와 첫 단계로 옳은 것은?
업무 이해에서 시작해 데이터 이해, 데이터 준비, 모델링, 평가, 전개로 이어지는 6단계입니다. 단계 사이를 오가는 순환 구조가 특징입니다.
문제 5. CRISP-DM에서 모델링 직전에 놓이는 단계는?
데이터를 정제하고 변수로 다듬는 데이터 준비 뒤에 모델링이 옵니다. 실제 프로젝트에서 시간이 가장 많이 드는 단계이기도 합니다.
문제 6. 빅데이터 분석 방법론의 5단계에 해당하지 않는 것은?
분석 기획, 데이터 준비, 데이터 분석, 시스템 구현, 평가 및 전개의 다섯입니다. 폐기는 단계로 두지 않습니다.
문제 7. 하향식 접근 방식에 대한 설명으로 옳은 것은?
문제 탐색과 정의에서 출발해 해결 방안을 찾고 타당성을 검토하는 순서가 하향식입니다. 나머지는 상향식이나 디자인 씽킹의 설명입니다.
문제 8. 상향식 접근 방식이 특히 유용한 상황은?
문제 정의가 어려운 상황에서 데이터를 탐색해 가설을 만들어 내는 것이 상향식의 강점입니다.
문제 9. 디자인 씽킹이 분석 기획에 주는 시사점으로 가장 알맞은 것은?
하향식의 수렴과 상향식의 발산을 오가며 문제를 다듬는 사고 방식입니다. 기술 지표를 직접 개선하는 방법론이 아닙니다.
문제 10. 분석 마스터플랜에서 과제의 우선순위를 정할 때 흔히 쓰는 기준의 짝으로 옳은 것은?
얼마나 중요한가와 얼마나 쉽게 할 수 있는가를 두 축으로 놓고 사분면에 배치합니다.
문제 11. 시급성과 난이도를 두 축으로 과제를 배치했을 때 가장 먼저 착수하는 것이 일반적인 영역은?
빨리 성과를 보이면서 실행이 쉬운 과제부터 시작해 신뢰를 얻는 것이 정석입니다. 어렵고 급한 과제는 자원을 확보한 뒤 붙습니다.
문제 12. 분석 과제를 정의할 때 고려하는 요소로 보기 어려운 것은?
근속 연수는 과제 정의와 무관합니다. 나머지는 과제 정의서에서 따지는 항목입니다.
묶음 2
문제 1. 분석 준비도 진단에서 살펴보는 영역으로 보기 어려운 것은?
준비도는 우리 조직의 업무, 인력, 기법, 데이터, 문화, 인프라를 봅니다. 외부 주가는 대상이 아닙니다.
문제 2. 분석 성숙도 모델에서 조직이 분석을 전사 차원에서 최적화해 활용하는 마지막 단계는?