문제 1. 한 회사의 부서마다 분석 보고서가 매주 쏟아지는데, 정작 회사가 어떤 시장에 들어가고 어디서 빠질지는 여전히 감으로 정합니다. 이 회사에 가장 부족한 것은 무엇입니까?
부서 단위로 업무를 개선하는 분석은 많지만 그것이 회사의 방향을 정하는 판단으로 이어지지 않는 상태입니다. 도구나 데이터, 보고서를 더 늘리는 것이 아니라 무엇을 분석해야 전략이 바뀌는지를 고르는 눈이 부족한 것이죠.
분석이 많다고 경쟁력이 되지는 않습니다
빅데이터 열풍이 불자 많은 회사가 분석 조직을 만들고 대시보드를 늘렸습니다. 그런데 몇 해 뒤 "그래서 뭐가 달라졌나"라는 질문 앞에서 말문이 막히는 곳이 적지 않았습니다. 예전에 고객 관계 관리(CRM) 시스템을 크게 들였다가 기대만큼 효과를 못 본 경험이 있던 회사들은 빅데이터도 비슷하게 끝날 것이라고 보기도 했죠. 이런 시각을 빅데이터 회의론이라고 부릅니다.
회의론이 틀렸다기보다, 분석에도 층위가 있다는 사실을 놓친 데서 생긴 실망이 많았습니다. 분석은 두 층으로 나눠 볼 수 있습니다.
층위
무엇을 하나
예
업무를 개선하는 분석
이미 정해진 일을 더 싸고 빠르게 합니다
콜센터 대기 시간을 줄이도록 인력을 다시 배치합니다
전략을 바꾸는 분석
무엇을 할지, 어디서 경쟁할지를 다시 정합니다
고객 이탈 원인을 보고 요금제 구조 자체를 바꿉니다
앞의 층은 부서 안에서 끝나고 효과가 빨리 보입니다. 뒤의 층은 여러 부서를 가로지르고, 경영진이 받아들여야 하며, 시간이 걸립니다. 하지만 경쟁 우위는 대개 뒤의 층에서 나옵니다. 남들도 똑같이 하는 업무 개선은 금방 따라잡히지만, 데이터로 발견한 새 전략은 따라 하기 어렵기 때문이죠. 이렇게 분석이 사업의 방향을 바꾸는 판단으로 이어진 것을 전략적 인사이트라고 부릅니다.
데이터 사이언스는 무엇을 더하나
데이터 사이언스(data science)는 데이터로부터 의미 있는 지식을 뽑아내는 일을 넓게 부르는 말입니다. 통계학이나 데이터 마이닝과 무엇이 다를까요. 통계학이 주로 정형화된 표본 데이터로 추론의 엄밀함을 다듬어 왔다면, 데이터 사이언스는 정형과 비정형을 가리지 않고, 데이터를 모으고 다듬고 분석해 결과를 전달하는 전 과정을 다루며, 그 과정에 업무에 대한 이해를 반드시 섞습니다.
2010년 데이터 과학자 드루 콘웨이는 이를 세 개의 원이 겹치는 벤 다이어그램으로 그렸습니다. 프로그래밍 능력, 수학과 통계 지식, 해당 분야의 전문 지식입니다. 세 원이 모두 겹치는 가운데가 데이터 사이언스이고, 앞의 둘만 겹치면 기계 학습, 뒤의 둘만 겹치면 전통적인 연구에 가깝다고 보았습니다. 흥미로운 것은 그가 프로그래밍과 분야 지식만 겹치고 통계가 빠진 자리를 위험 지대라고 불렀다는 점입니다. 돌아가는 코드와 그럴듯한 해석은 있는데 그 결과가 우연인지 아닌지를 가릴 눈이 없는 상태이기 때문이죠.
데이터 사이언티스트에게 필요한 것
2009년 구글의 수석 경제학자 할 배리언은 앞으로 10년간 가장 매력적인 직업은 통계학자가 될 것이라고 말했고, 2012년 하버드 비즈니스 리뷰에는 데이터 사이언티스트를 "21세기의 가장 섹시한 직업"이라고 부른 글이 실렸습니다. 그렇다면 그 사람에게는 무엇이 필요할까요. 흔히 두 갈래로 나눕니다.
하드 스킬은 기술의 영역입니다. 빅데이터를 다루는 이론과 도구에 대한 지식, 그리고 통계와 기계 학습 같은 분석 기술을 실제로 손에 익힌 숙련이 여기 듭니다.
소프트 스킬은 사람과 판단의 영역입니다. 남이 보지 못한 질문을 떠올리는 통찰력과 창의적 사고, 분석 결과를 듣는 사람이 움직이도록 이야기와 시각화로 풀어내는 설득력 있는 전달, 현업 부서와 개발자, 경영진 사이를 오가는 여러 분야와의 협력입니다.
현장에서 더 모자라는 것은 대개 소프트 스킬입니다. 분석은 훌륭한데 아무도 그 결과대로 움직이지 않는다면, 그 분석은 전략적 인사이트가 되지 못하고 보고서 폴더 속에 남습니다. 앞 절의 두 층위를 잇는 다리가 소프트 스킬인 셈입니다.
모든 모델은 틀렸습니다
통계학자 조지 박스는 "모든 모델은 틀렸다. 그러나 일부는 쓸모가 있다"는 말을 남겼습니다. 모델은 복잡한 현실을 몇 개의 변수와 가정으로 줄인 것이라 현실과 똑같을 수 없다는 뜻입니다. 쓸모 있는 모델이 되려면 그 모델이 어떤 가정 위에 서 있고, 어디까지 맞고 어디서부터 틀리는지를 알아야 합니다.
데이터 사이언스의 미래에서 사람의 몫이 줄지 않는 이유가 여기 있습니다. 알고리즘이 더 많은 판단을 맡을수록, 그 판단이 기대고 있는 가정을 의심하고 숫자 뒤의 사람과 맥락을 읽는 능력이 더 귀해집니다. 데이터 사이언티스트에게 인문학적 사고가 요구된다는 말은 이런 뜻입니다. 이것으로 1과목을 마치고, 다음 과목에서는 무엇을 분석할지 고르는 일, 곧 분석 기획으로 넘어갑니다.
인출 문제
문제 1. 업무를 개선하는 분석과 전략을 바꾸는 분석을 비교한 설명으로 가장 적절한 것은?
업무 개선은 부서 안에서 빨리 효과를 보지만 남들도 금방 따라 합니다. 전략을 바꾸는 분석은 여러 부서와 경영진을 거쳐 시간이 걸리지만 따라 하기 어려워 경쟁 우위의 원천이 됩니다.
문제 2. 드루 콘웨이의 벤 다이어그램에서 데이터 사이언스를 이루는 세 원으로 옳은 것은?
콘웨이는 프로그래밍, 수학과 통계, 분야 전문 지식이 모두 겹치는 곳을 데이터 사이언스로 그렸습니다. 규모, 속도, 다양성은 3V이고, 데이터, 정보, 지식은 DIKW 계층입니다.
문제 3. 데이터 사이언티스트의 소프트 스킬에 해당하지 않는 것은?
분석 기법을 손에 익힌 숙련은 기술의 영역인 하드 스킬입니다. 통찰력, 전달력, 협력은 사람과 판단의 영역이라 소프트 스킬에 듭니다.
문제 4. 조지 박스의 "모든 모델은 틀렸다. 그러나 일부는 쓸모가 있다"는 말이 데이터 분석가에게 주는 교훈으로 가장 알맞은 것은?
모델은 현실을 줄인 것이라 완벽할 수 없지만, 어떤 가정 위에 서 있고 어디까지 맞는지를 알면 쓸모 있게 쓸 수 있습니다. 모델을 버리라는 말도, 복잡할수록 좋다는 말도 아닙니다.
더 풀기
출제기준의 세부항목을 따라 이 강의 범위에서 새로 낸 문제입니다. 모의고사도 여기에서 뽑습니다.
묶음 1
문제 1. 빅데이터 회의론이 생긴 배경으로 가장 알맞은 것은?
고객 관계 관리 시스템처럼 크게 투자했다가 효과를 체감하지 못한 경험이 있던 회사들은 빅데이터도 비슷하게 끝나리라고 보았습니다. 기술이 없었거나 금지된 것이 아니라 기대와 효과 사이의 간극이 회의를 불렀습니다.
문제 2. 콜센터의 시간대별 통화량을 분석해 상담원 근무표를 다시 짠 것은 분석의 어느 층위에 가깝습니까?
상담 업무라는 이미 정해진 일을 더 효율적으로 하도록 인력을 다시 배치했으니 업무 개선 분석입니다. 회사가 무엇을 할지, 어디서 경쟁할지를 다시 정한 것은 아닙니다.
문제 3. 고객 이탈 원인을 분석했더니 요금제 구조 자체가 문제여서, 회사가 요금 체계를 전면 개편했습니다. 이것은 분석의 어느 층위에 가깝습니까?
분석 결과가 회사의 상품 구조와 경쟁 방식을 바꾸는 결정으로 이어졌으니 전략을 바꾸는 분석입니다. 여러 부서와 경영진의 판단을 거쳐야 하는 층위이기도 합니다.
문제 4. 업무 개선 분석만으로는 경쟁 우위를 오래 지키기 어려운 이유로 가장 알맞은 것은?
업무를 더 싸고 빠르게 하는 방법은 경쟁사도 비슷한 도구로 곧 따라잡습니다. 반면 데이터로 찾은 새로운 전략은 따라 하기 어려워 오래가는 우위가 됩니다.
문제 5. 전략적 인사이트에 관한 설명으로 가장 적절한 것은?
전략적 인사이트는 분석 결과가 무엇을 할지, 어디서 경쟁할지를 다시 정하는 판단으로 이어진 상태입니다. 보고서나 데이터의 양, 대시보드의 모양은 그 자체로 인사이트가 아닙니다.
문제 6. 데이터 사이언스가 전통적인 통계학과 다른 점으로 가장 알맞은 것은?
데이터 사이언스는 통계를 포함하되 비정형까지 넓히고, 모으는 일부터 전달하는 일까지 전 과정과 업무 이해를 함께 다룹니다. 수학을 버리는 것이 아니라 그 위에 다른 역량을 더한 것입니다.
문제 7. 콘웨이의 벤 다이어그램에서 프로그래밍 능력과 수학, 통계 지식만 겹치고 분야 전문 지식이 빠진 영역은 무엇에 가깝다고 보았습니까?
프로그래밍과 통계가 겹치면 기계 학습에 가깝다고 보았습니다. 분야 지식이 더해져야 셋이 모두 겹치는 데이터 사이언스가 됩니다.
문제 8. 콘웨이가 "위험 지대"라고 부른 영역은 어디입니까?
돌아가는 코드와 그럴듯한 해석은 있지만 그 결과가 우연인지 가릴 통계적 눈이 없는 상태를 위험 지대라고 불렀습니다. 수학과 통계, 분야 지식만 겹치면 전통적인 연구에 가깝습니다.
문제 9. 콘웨이가 통계가 빠진 영역을 위험하다고 본 가장 큰 이유는 무엇입니까?
프로그래밍과 분야 지식이 있으면 분석을 돌리고 해석까지는 할 수 있습니다. 하지만 통계가 없으면 그 결과가 우연히 나온 것인지 판단하지 못해 잘못된 결론을 확신하게 됩니다.
문제 10. 데이터 사이언티스트를 "21세기의 가장 섹시한 직업"이라고 부른 글이 실린 곳으로 옳은 것은?
2012년 하버드 비즈니스 리뷰에 실린 글이 데이터 사이언티스트를 그렇게 불렀습니다. 메타 그룹 보고서는 3V가 나온 곳이고, 할 배리언은 구글의 수석 경제학자로서 통계학자의 가치를 말했습니다.
묶음 2
문제 1. 데이터 사이언티스트의 하드 스킬에 해당하는 것은?
빅데이터의 이론과 도구, 분석 기법의 숙련은 기술의 영역인 하드 스킬입니다. 전달력, 협력, 창의성은 사람과 판단의 영역인 소프트 스킬입니다.
문제 2. 분석 결과를 경영진이 한눈에 이해하고 움직이도록 시각화와 이야기로 풀어내는 능력은 무엇에 해당합니까?
결과를 듣는 사람이 행동하도록 이야기와 시각화로 전하는 것은 소프트 스킬의 설득력 있는 전달입니다. 분석 자체를 잘하는 것과 그 결과를 움직이게 전하는 것은 다른 능력입니다.
문제 3. 현장에서 데이터 사이언티스트에게 더 모자라기 쉬운 역량과 그 결과로 가장 알맞은 것은?
분석 자체는 훌륭해도 그 결과를 전달하고 여러 부서를 움직이지 못하면 전략적 인사이트로 이어지지 못합니다. 그래서 현장에서는 소프트 스킬이 두 층위를 잇는 다리로 강조됩니다.
문제 4. 2009년 "앞으로 10년간 가장 매력적인 직업은 통계학자가 될 것"이라고 말한 사람은 누구입니까?
구글의 수석 경제학자였던 할 배리언이 2009년에 통계학자의 가치를 두고 한 말입니다. 콘웨이는 데이터 사이언스의 벤 다이어그램, 레이니는 3V, 커드는 관계형 모델로 알려져 있습니다.
문제 5. 다음 가운데 데이터 사이언티스트의 역량을 하드 스킬과 소프트 스킬로 옳게 짝지은 것은?
통계 기법을 손에 익힌 숙련은 하드 스킬이고, 남이 보지 못한 질문을 떠올리는 통찰력은 소프트 스킬입니다. 나머지는 두 갈래를 거꾸로 짝지었습니다.
문제 6. 데이터 사이언티스트에게 인문학적 사고가 요구되는 이유로 가장 알맞은 것은?
알고리즘이 판단을 맡을수록 그 판단의 가정과 한계를 의심하고 데이터 뒤의 사람과 상황을 읽는 능력이 중요해집니다. 문장을 꾸미거나 계산을 빠르게 하는 것과는 거리가 멉니다.
문제 7. 한 분석가가 매출 예측 모델을 만들면서 "이 모델은 작년과 비슷한 경기 상황을 가정한다"고 보고서에 적어 두었습니다. 이 태도가 가장 잘 따르는 원칙은 무엇입니까?
모델이 어떤 조건에서 맞는지를 밝혀 두면 그 조건이 무너질 때 모델을 믿지 말아야 한다는 것도 함께 알 수 있습니다. 조지 박스의 말이 요구하는 태도가 바로 이것입니다.
문제 8. 데이터 사이언스의 미래에서 사람의 몫이 줄지 않는다고 보는 이유로 가장 알맞은 것은?
기계가 판단을 많이 맡을수록 그 판단이 기대는 가정과 한계를 살피는 사람의 역할이 오히려 커집니다. 계산 속도에서 사람이 이기기 때문이 아니라 판단을 감시하고 해석하는 몫 때문입니다.
문제 9. 한 분석팀이 정교한 모델을 만들었지만 현업 부서가 그 결과를 이해하지 못해 쓰지 않았습니다. 이 팀에 가장 먼저 보강해야 할 것은 무엇입니까?
모델의 성능은 충분한데 쓰이지 않는 것은 전달과 협력의 문제입니다. 알고리즘이나 데이터를 늘려도 현업이 결과를 이해하고 움직이지 않으면 인사이트가 되지 못합니다.
문제 10. 데이터 사이언스를 설명한 진술로 옳지 않은 것은?
데이터 사이언스는 데이터를 모으고 다듬고 분석하는 데서 그치지 않고 결과를 전달하는 데까지 전 과정을 다룹니다. 전달이 빠지면 분석이 전략적 인사이트로 이어지지 못합니다.
묶음 3
문제 1. 한 유통 회사가 매장별 재고 회전율을 분석해 발주량을 조정했더니 재고 비용이 줄었습니다. 이 분석을 전략을 바꾸는 층위로 끌어올리려면 어떤 질문으로 넓혀야 합니까?
발주량 조정은 이미 정해진 일을 더 잘하는 업무 개선입니다. 어떤 상품과 지역에 집중할지처럼 회사가 무엇을 할지를 다시 정하는 질문으로 넓힐 때 전략 층위의 분석이 됩니다.
문제 2. 전략을 바꾸는 분석이 업무를 개선하는 분석보다 시간이 오래 걸리는 이유로 가장 알맞은 것은?
전략을 바꾸는 분석은 한 부서 안에서 끝나지 않고 여러 부서와 경영진의 합의를 거쳐야 실행됩니다. 그래서 시간이 걸리지만 그만큼 따라 하기 어려운 우위를 만듭니다.
문제 3. 데이터 사이언스와 데이터 마이닝을 비교한 설명으로 가장 알맞은 것은?
데이터 마이닝은 쌓인 데이터에서 유용한 패턴을 캐는 기법에 무게를 둡니다. 데이터 사이언스는 그 기법을 포함해 데이터를 모으고 다듬고 결과를 전달하는 전 과정과 업무 이해까지 아우릅니다.
문제 4. 콘웨이의 벤 다이어그램에서 수학, 통계 지식과 분야 전문 지식만 겹치고 프로그래밍 능력이 빠진 영역은 무엇에 가깝다고 보았습니까?
통계와 분야 지식을 갖췄지만 대량의 데이터를 다룰 프로그래밍 능력이 없으면 전통적인 연구에 가깝다고 보았습니다. 프로그래밍과 통계만 겹치면 기계 학습, 프로그래밍과 분야 지식만 겹치면 위험 지대입니다.
문제 5. 한 스타트업 대표가 "데이터 사이언티스트 한 명만 뽑으면 코딩, 통계, 업무 이해, 발표까지 다 해결될 것"이라고 기대합니다. 이 기대에 대한 가장 균형 잡힌 조언은 무엇입니까?
프로그래밍, 통계, 분야 지식, 전달력을 모두 높은 수준으로 갖춘 사람은 드뭅니다. 그래서 여러 사람이 역량을 나눠 맡는 팀 구성이 흔히 권해집니다.
문제 6. 빅데이터 회의론에 대한 가장 균형 잡힌 평가는 무엇입니까?
회의론이 전부 틀린 것은 아니지만, 많은 실망은 업무 개선 분석에 머물고 전략까지 잇지 못한 데서 생겼습니다. 도구나 기술만 늘린다고 해결되는 문제가 아닙니다.
문제 7. 다음 가운데 전략적 인사이트를 도출하는 데 가장 직접적으로 필요한 것은?
전략적 인사이트는 분석의 양이 아니라 어떤 질문을 분석해야 방향이 바뀌는지를 고르는 판단에서 나옵니다. 이 판단을 구체적으로 설계하는 일이 2과목의 분석 기획입니다.
문제 8. 조지 박스의 말에 비추어 볼 때, 한때 잘 맞던 예측 모델이 갑자기 틀리기 시작했을 때 가장 먼저 해야 할 일은 무엇입니까?
모델은 특정 가정 위에서만 쓸모가 있으므로, 잘 맞다가 틀리기 시작하면 그 가정이 무너졌는지부터 살펴야 합니다. 이유를 확인하지 않고 모델만 바꾸면 같은 실수를 되풀이할 수 있습니다.
문제 9. 데이터 사이언스와 전략 인사이트에 관한 진술로 옳지 않은 것은?
모델은 현실을 줄인 것이라 아무리 정교해도 현실과 똑같아지지 않으며, 그래서 가정과 한계를 늘 따져야 합니다. 나머지 셋은 이 강에서 다룬 내용을 그대로 담고 있습니다.
문제 10. 다음 가운데 소프트 스킬 가운데 "여러 분야와의 협력"을 가장 잘 보여 주는 장면은 무엇입니까?
현업과 개발자 사이를 오가며 서로의 사정을 맞추는 것이 협력입니다. 코드 최적화와 기법 공부는 하드 스킬 쪽이고, 그래프로 요약하는 것은 전달력에 가깝습니다.