데이터는 그 자체로는 아무 말도 하지 않습니다. 누군가 질문을 던졌을 때 비로소 정보가 됩니다.
풀고 시작
문제 1. 한 카페가 지난달 시간대별 판매 기록을 정리했더니 아침 8시대에 아메리카노가 오후보다 두 배 넘게 팔렸다는 사실이 드러났습니다. 이 "두 배 넘게 팔렸다"는 진술은 DIKW 계층에서 어디에 가장 가깝습니까?
시간대별 판매 수량이라는 낱낱의 기록을 서로 비교해 의미 있는 차이를 끌어냈으니 정보입니다. 기록 그 자체라면 데이터이고, 그 차이를 보고 "아침에 바리스타를 한 명 더 두자"는 행동 방침을 세우면 지식에 가까워집니다.
데이터는 "주어진 것"입니다
데이터(data)라는 말은 라틴어 datum에서 왔습니다. "주어진 것"이라는 뜻이죠. 이 어원이 데이터의 성격을 꽤 정확하게 짚습니다. 데이터는 누가 해석하기 전에 먼저 거기 있는 것, 관찰하고 측정하고 기록한 결과입니다.
그런데 데이터에는 두 얼굴이 있습니다. 한쪽에서 보면 데이터는 있는 그대로의 사실입니다. 오늘 오전 9시 서울의 기온이 18도였다는 기록은 누가 보든 18도입니다. 다른 쪽에서 보면 데이터는 판단의 재료입니다. 그 18도를 보고 우산을 챙길지, 겉옷을 입을지, 에어컨 전력 수요를 얼마로 잡을지 정합니다. 앞의 얼굴만 보면 데이터는 쌓아 두는 창고가 되고, 뒤의 얼굴을 보아야 데이터가 일을 하기 시작합니다.
데이터는 생김새로도 나뉩니다. 숫자로 셀 수 있는 정량 데이터(quantitative data)가 있고, 말이나 글처럼 숫자로 바로 옮기기 어려운 정성 데이터(qualitative data)가 있습니다. 매출액, 방문자 수, 체온은 정량이고, 고객 리뷰, 상담 녹취, 설문의 서술형 응답은 정성입니다. 정량 데이터는 저장하고 계산하기 쉬운 대신 담을 수 있는 이야기가 좁고, 정성 데이터는 풍부한 대신 분석하려면 먼저 구조를 입혀야 합니다.
저장 형태로 나누면 세 가지가 됩니다. 행과 열이 정해진 표에 들어가는 정형 데이터, 태그나 키로 구조를 스스로 설명하는 반정형 데이터(JSON, XML, 로그), 정해진 틀이 없는 비정형 데이터(문서, 이미지, 음성, 영상)입니다. 오늘날 쌓이는 데이터의 대부분은 비정형이라는 점을 기억해 두면 3강의 빅데이터 이야기가 훨씬 쉽게 읽힙니다.
머릿속에 있는 지식, 문서로 나온 지식
헝가리 출신 철학자 마이클 폴라니는 1966년에 낸 책에서 "우리는 말할 수 있는 것보다 더 많이 안다"고 썼습니다. 자전거를 탈 줄 아는 사람에게 균형 잡는 법을 글로 설명해 보라고 하면 대개 몇 줄 못 가서 막힙니다. 몸은 아는데 말로는 나오지 않는 지식, 이것을 암묵지(tacit knowledge)라고 부릅니다. 반대로 매뉴얼, 보고서, 공식처럼 말과 글로 옮겨져 누구나 읽을 수 있게 된 지식은 형식지(explicit knowledge)입니다.
조직에서 이 구분이 중요한 이유는 사람이 떠나면 암묵지도 함께 떠나기 때문입니다. 20년 차 정비사가 소리만 듣고 엔진의 이상을 알아채는 감각은 그가 퇴직하는 날 회사에서 사라집니다. 그래서 일본의 경영학자 노나카 이쿠지로와 다케우치 히로타카는 1995년에 지식이 두 형태를 오가며 불어나는 과정을 네 단계로 정리했습니다.
단계
방향
장면
공통화 (Socialization)
암묵지 → 암묵지
신입이 선배 옆에서 몇 달 동안 일하며 감을 익힙니다
표출화 (Externalization)
암묵지 → 형식지
선배의 감을 점검표와 매뉴얼로 옮겨 적습니다
연결화 (Combination)
형식지 → 형식지
여러 부서의 매뉴얼을 모아 하나의 표준으로 묶습니다
내면화 (Internalization)
형식지 → 암묵지
신입이 표준 매뉴얼대로 반복하다 보니 몸에 붙습니다
네 단계는 한 번 돌고 끝나지 않고 나선처럼 계속 돕니다. 네 단계의 앞 글자를 따서 SECI 모형이라고 부르죠. 데이터 분석이 이 그림에서 맡는 자리는 주로 표출화와 연결화입니다. 현장의 감으로만 존재하던 판단을 데이터로 기록하고, 흩어진 기록을 합쳐 조직 전체가 쓰는 규칙으로 만드는 일입니다.
데이터에서 지혜까지, 네 계단
데이터가 쓸모를 얻는 과정은 흔히 네 계단으로 그립니다. 앞 글자를 따서 DIKW 피라미드라고 합니다.
계단
무엇인가
카페의 예
데이터 (Data)
가공하지 않은 기록
8시 아메리카노 42잔, 14시 17잔
정보 (Information)
데이터 사이의 관계에서 얻은 의미
아침에 오후보다 두 배 넘게 팔립니다
지식 (Knowledge)
정보를 바탕으로 세운 행동 방침
출근길 손님이 주 고객이니 아침에 인력을 더 둡니다
지혜 (Wisdom)
지식을 새 상황에 넓혀 쓰는 통찰
새 매장은 역 앞 출근 동선을 기준으로 자리를 고릅니다
이 그림이 널리 퍼진 데에는 경영학자 러셀 애코프가 1989년에 쓴 글의 영향이 큽니다. 재미있는 점은 애코프의 원래 글에는 지식과 지혜 사이에 이해(understanding)라는 단계가 하나 더 있었다는 것입니다. 우리가 흔히 보는 네 계단은 그중 하나를 뺀 단순한 판본인 셈이죠. 시험에서는 네 계단을 기준으로 묻습니다.
계단을 오를수록 두 가지가 달라집니다. 하나는 맥락에 기대는 정도입니다. 42잔이라는 데이터는 어느 카페든 같은 42잔이지만, 역 앞에 새 매장을 내라는 지혜는 그 도시와 그 회사의 사정을 알아야 나옵니다. 다른 하나는 사람의 몫입니다. 데이터를 모으는 일은 기계가 잘하지만 위로 올라갈수록 판단하는 사람이 필요합니다.
그래서 데이터를 어디에 담을까
데이터가 판단의 재료가 되려면 필요할 때 꺼낼 수 있어야 합니다. 여기저기 흩어진 엑셀 파일로는 두 달 전 기록과 오늘 기록을 나란히 놓기조차 어렵죠. 사람마다 자기 파일에 따로 고쳐 두면 같은 고객의 주소가 파일마다 다르게 적히는 일도 생깁니다. 그래서 사람들은 데이터를 한곳에 모으고 여럿이 함께 쓰는 체계를 만들었습니다. 다음 강에서 볼 데이터베이스입니다.
인출 문제
문제 1. 고객센터 상담원이 통화 내용을 들으며 "이 고객은 해지하려는 것 같다"고 알아채는 감각을 회사가 해지 징후 점검표로 옮겨 적었습니다. 이 과정은 SECI 모형의 어느 단계입니까?
상담원의 머릿속에만 있던 감각(암묵지)을 누구나 읽을 수 있는 점검표(형식지)로 바꿨으니 표출화입니다. 공통화는 암묵지가 옆 사람의 암묵지로 옮겨 가는 것이고, 연결화는 이미 문서로 된 것끼리 합치는 것이라 출발점이 다릅니다.
문제 2. 정량 데이터와 정성 데이터를 비교한 설명으로 가장 적절한 것은?
정성 데이터도 분석 대상이지만 텍스트 분석이나 코딩처럼 구조를 입히는 과정이 먼저 필요합니다. 서술형 응답은 응답자 수를 셀 수 있어도 응답 내용 자체는 글이므로 정성 데이터이고, 정량 데이터는 오히려 저장과 계산이 쉬운 쪽입니다.
문제 3. DIKW 계층에서 위 계단으로 올라갈수록 나타나는 변화로 가장 적절한 것은?
데이터는 어디서나 같은 기록이지만 지혜로 갈수록 그 조직과 상황을 알아야 나오는 판단이 됩니다. 그래서 위로 갈수록 기계보다 사람의 몫이 커지고, 원래 기록에서는 오히려 멀어집니다.
문제 4. 다음 중 반정형 데이터에 해당하는 것은?
JSON 로그는 행과 열이 고정된 표는 아니지만 키가 스스로 구조를 설명하므로 반정형입니다. 판매 테이블은 틀이 정해진 정형이고, 영상과 스캔 이미지는 정해진 구조가 없는 비정형입니다.
더 풀기
출제기준의 세부항목을 따라 이 강의 범위에서 새로 낸 문제입니다. 모의고사도 여기에서 뽑습니다.
묶음 1
문제 1. 물류센터 온도 센서가 5분마다 "4.2도", "4.5도", "7.8도"를 기록했습니다. 이 기록 하나하나는 DIKW 계층에서 무엇입니까?
아직 서로 비교하거나 해석하지 않은 측정값 그대로이므로 데이터입니다. 이 값들을 이어 보고 "냉장 구역 온도가 기준을 넘었다"고 판단하는 순간 정보가 됩니다.
문제 2. 같은 물류센터에서 "7.8도가 찍힌 시각은 매번 오후 2시 출고 직후였다"는 사실을 알아냈습니다. 이것은 DIKW 계층에서 무엇입니까?
온도 기록과 출고 시각이라는 서로 다른 데이터를 이어 규칙성을 찾아냈으니 정보입니다. 아직 "그래서 무엇을 하자"는 방침은 없으므로 지식까지는 가지 않았습니다.
문제 3. 이어서 "오후 2시 출고 때는 냉장 구역 문을 여는 시간을 3분 안으로 줄인다"는 작업 규칙을 만들었습니다. 이것은 DIKW 계층에서 무엇입니까?
정보를 바탕으로 실제로 무엇을 할지 정한 행동 방침이므로 지식입니다. 이 규칙을 다른 창고나 다른 계절에도 맞게 넓혀 쓰는 통찰로 나아가면 지혜에 가까워집니다.
문제 4. 끝으로 "새 물류센터를 설계할 때는 출고 동선과 냉장 구역을 처음부터 떼어 놓는다"는 원칙을 세웠습니다. 이것은 DIKW 계층에서 무엇입니까?
한 창고의 문제를 해결한 지식을 아직 지어지지도 않은 새 상황에 넓혀 적용했으니 지혜입니다. 지식이 "이 창고에서 무엇을 할까"라면 지혜는 "앞으로 어떻게 지을까"에 답합니다.
문제 5. 데이터라는 말의 어원인 라틴어 datum의 뜻으로 옳은 것은?
datum은 "주어진 것"이라는 뜻이고, 데이터가 해석 이전에 먼저 거기 있는 관찰 결과라는 성격을 잘 보여 줍니다. 기록되거나 계산된다는 것은 데이터가 쓰이는 방식이지 어원의 뜻은 아닙니다.
문제 6. 데이터의 성격에 관한 설명으로 가장 적절한 것은?
데이터는 관찰한 사실 그 자체이면서 그것을 바탕으로 판단을 내리는 재료이기도 합니다. 해석은 사람마다 다를 수 있지만 기록된 값 자체는 같고, 당장 해석하지 않은 데이터도 나중의 판단을 위해 쌓아 둡니다.
문제 7. DIKW 피라미드의 원형으로 자주 인용되는 러셀 애코프의 1989년 글에 관한 설명으로 옳은 것은?
애코프의 원래 글에는 이해(understanding)가 지식과 지혜 사이에 있었고, 오늘날 흔히 쓰는 네 계단은 이를 뺀 단순한 판본입니다. 피라미드의 순서는 아래에서 위로 데이터, 정보, 지식, 지혜로 같습니다.
문제 8. 한 쇼핑몰이 "비 오는 날에는 우산보다 실내 놀이용품 검색이 먼저 늘어난다"는 사실을 발견했습니다. 이 발견을 지식으로 끌어올리는 다음 걸음으로 가장 알맞은 것은?
지식은 정보를 바탕으로 무엇을 할지 정한 행동 방침입니다. 기록을 더 모으거나 더 잘 보여 주는 일은 데이터나 정보 단계를 다듬는 것이지, 판단을 행동으로 옮기는 단계는 아닙니다.
문제 9. 다음 중 정량 데이터가 아닌 것은?
녹취록은 말을 글로 옮긴 것이라 숫자로 바로 계산할 수 없는 정성 데이터입니다. 사용자 수, 소요 시간, 매출액은 모두 세거나 잴 수 있는 정량 데이터입니다.
문제 10. 오늘날 새로 쌓이는 데이터의 형태에 관한 설명으로 가장 적절한 것은?
스마트폰 사진, 동영상, 메신저 대화처럼 틀이 없는 비정형 데이터가 새로 쌓이는 양의 큰 몫을 차지합니다. 반정형 데이터는 키나 태그로 구조를 설명하므로 오히려 다루기 쉬운 편이고, 비정형 데이터도 텍스트 분석과 이미지 인식으로 활발히 쓰입니다.
묶음 2
문제 1. 마이클 폴라니가 "우리는 말할 수 있는 것보다 더 많이 안다"고 한 말이 가리키는 지식은 무엇입니까?
몸이나 감각으로는 알지만 말과 글로 다 옮겨지지 않는 지식, 곧 암묵지를 가리킨 말입니다. 형식지는 반대로 이미 말과 글로 옮겨져 누구나 읽을 수 있는 지식입니다.
문제 2. 암묵지의 예로 가장 적절한 것은?
손끝으로 발효 정도를 알아채는 감각은 말로 온전히 설명하기 어려운 암묵지입니다. 교육 자료, 판정 기준표, 체크리스트는 모두 이미 문서로 옮겨진 형식지입니다.
문제 3. 신입 요리사가 주방장 옆에서 몇 달 동안 함께 일하면서 말로 배운 적 없는 불 조절 감각을 익혔습니다. SECI 모형의 어느 단계입니까?
주방장의 몸에 있던 감각이 문서를 거치지 않고 신입의 몸으로 옮겨 갔으니 암묵지에서 암묵지로 가는 공통화입니다. 표출화라면 그 감각을 조리 매뉴얼 같은 글로 옮겨 적는 과정이 있어야 합니다.
문제 4. 본사가 전국 지점이 각자 만든 고객 응대 매뉴얼을 모아 하나의 표준 응대 지침으로 통합했습니다. SECI 모형의 어느 단계입니까?
이미 문서로 된 여러 매뉴얼을 합쳐 새로운 문서를 만들었으니 형식지에서 형식지로 가는 연결화입니다. 출발점이 문서라는 점에서 암묵지를 글로 옮기는 표출화와 구분됩니다.
문제 5. 새로 온 직원이 표준 응대 지침을 몇 달 동안 그대로 따라 하다 보니, 이제는 지침을 보지 않고도 상황에 맞게 응대하게 되었습니다. SECI 모형의 어느 단계입니까?
문서로 된 지침(형식지)을 반복해 몸에 익혀 자기 감각(암묵지)으로 만들었으니 내면화입니다. 결과만 보면 공통화처럼 보이지만 출발점이 사람이 아니라 문서라는 점이 다릅니다.
문제 6. SECI 모형에서 네 단계가 도는 모습에 관한 설명으로 가장 적절한 것은?
노나카와 다케우치는 지식이 두 형태를 오가며 나선처럼 커진다고 보았습니다. 암묵지는 형식지로 다 옮겨지지 않는 고유한 가치가 있어 둘 중 어느 쪽이 우월하다고 보지 않습니다.
문제 7. 오래 일한 정비사가 퇴직하기 전에 그의 점검 요령을 동영상과 점검표로 남기는 사업을 벌였습니다. 이 사업이 가장 직접적으로 막으려는 위험은 무엇입니까?
암묵지는 사람의 몸과 머리에 있어 그 사람이 떠나면 함께 사라집니다. 그래서 떠나기 전에 표출화해 형식지로 남기려는 것이고, 문서 관리 비용이나 매뉴얼 의존은 이 사업의 목적과 거리가 멉니다.
문제 8. 데이터 분석이 SECI 모형에서 주로 맡는 역할로 가장 적절한 것은?
데이터 분석은 감으로만 하던 판단을 데이터로 남기고(표출화), 흩어진 데이터를 합쳐 쓸모 있는 규칙으로 묶는(연결화) 데 가장 크게 기여합니다. 함께 일하며 감을 나누는 것은 공통화, 반복으로 몸에 익히는 것은 내면화의 몫입니다.
문제 9. 형식지의 성질에 관한 설명으로 옳지 않은 것은?
사람과 함께 사라지는 것은 암묵지의 성질입니다. 형식지는 이미 문서나 기록으로 밖에 나와 있으므로 작성자가 떠나도 남고, 그래서 다른 문서와 합치는 연결화도 가능합니다.
문제 10. 노나카 이쿠지로와 다케우치 히로타카가 SECI 모형으로 설명하려 한 것은 무엇입니까?
SECI 모형은 조직이 지식을 만들어 내는 과정을 암묵지와 형식지의 변환으로 설명합니다. 데이터에서 지혜까지의 계층은 DIKW 피라미드가 다루는 주제입니다.
묶음 3
문제 1. 다음 중 비정형 데이터로만 짝지어진 것은?
녹음 파일과 사진은 정해진 틀 없이 저장되는 비정형 데이터입니다. 판매와 재고, 고객 테이블은 정형이고, JSON과 XML은 태그나 키로 구조를 설명하는 반정형입니다.
문제 2. 반정형 데이터의 특징으로 가장 적절한 것은?
반정형 데이터는 스키마가 고정되지는 않았지만 키와 태그가 구조 정보를 함께 담고 있습니다. 표로 정해진 것은 정형, 구조가 전혀 없는 것은 비정형이고, 반정형은 숫자만이 아니라 글과 여러 값을 섞어 담습니다.
문제 3. 한 병원이 환자별 혈압 수치, 의사의 진료 소견 메모, 엑스레이 영상을 함께 저장합니다. 각각의 데이터 형태를 차례대로 옳게 짝지은 것은?
혈압 수치는 정해진 칸에 들어가는 정형 데이터이고, 자유롭게 쓴 소견 메모와 엑스레이 영상은 모두 정해진 틀이 없는 비정형 데이터입니다. 메모가 글이라고 반정형이 되지는 않습니다. 반정형이 되려면 키나 태그로 구조가 표시되어 있어야 합니다.
문제 4. 정성 데이터를 분석에 쓰기 위해 흔히 먼저 거치는 과정으로 가장 알맞은 것은?
고객 리뷰나 서술형 응답은 범주를 매기거나 핵심어를 뽑는 식으로 구조를 입혀야 분석할 수 있습니다. 평균처럼 계산하는 일은 구조를 입힌 뒤에야 가능하고, 정성 데이터를 버리면 담긴 풍부한 이야기도 함께 잃습니다.
문제 5. 다음 중 정량 데이터와 정성 데이터를 짝지은 설명으로 옳은 것은?
별점은 숫자로 기록되어 평균을 내거나 비교할 수 있으니 정량으로 다룰 수 있고, 리뷰 본문은 글이라 정성입니다. 같은 리뷰 화면 안에도 두 종류의 데이터가 함께 들어 있는 셈입니다.
문제 6. 한 회사가 "데이터는 많은데 정작 결정할 때 쓸 게 없다"는 불만을 겪고 있습니다. DIKW 관점에서 가장 가능성 높은 원인은 무엇입니까?
데이터가 많은데 쓸 게 없다는 것은 쌓기만 하고 서로 비교하거나 해석해 의미를 뽑는 단계가 없다는 뜻입니다. 양을 더 늘리거나 형태만 바꾸는 것으로는 풀리지 않고, 계단은 아래에서부터 차례로 올라가는 것이라 지혜를 먼저 만들 수도 없습니다.
문제 7. 같은 온도 기록 18도를 보고 한 사람은 우산을 챙기고 다른 사람은 겉옷을 입었습니다. 이 장면이 보여 주는 것으로 가장 알맞은 것은?
18도라는 기록 자체는 누구에게나 같지만, 그 기록을 어떤 판단의 재료로 쓰느냐는 사람마다 다릅니다. 온도는 숫자로 잰 정량 데이터이고, 행동이 갈린 것은 데이터가 틀려서가 아니라 질문이 달라서입니다.
문제 8. 데이터와 정보에 관한 진술로 옳지 않은 것은?
비정형 데이터는 오늘날 쌓이는 데이터의 큰 몫을 차지하고 텍스트 분석, 이미지 인식 같은 기술로 활발히 분석됩니다. 나머지 셋은 이 강에서 다룬 정의를 그대로 담고 있습니다.
문제 9. 한 데이터 분석가가 "매출 데이터를 보니 이번 달 매출이 떨어졌다"고 보고하자, 팀장이 "그래서 우리가 뭘 해야 하죠?"라고 물었습니다. 팀장이 요구한 것은 DIKW 계층에서 어디입니까?
매출이 떨어졌다는 것은 데이터를 해석한 정보입니다. 팀장은 그 정보를 바탕으로 무엇을 할지, 곧 행동 방침인 지식을 요구한 것입니다.
문제 10. DIKW 피라미드를 설명하는 그림에서 아래로 갈수록 넓게 그리는 이유로 가장 알맞은 것은?
수많은 데이터 가운데 일부만 의미 있는 정보가 되고, 그중 일부만 행동 방침인 지식이 되며, 지혜는 더 적습니다. 가치와 사람의 판단 몫은 오히려 위로 갈수록 커집니다.