빅데이터의 정의에서 정작 중요한 것은 "크다"가 아닙니다. 크기는 셋 중 하나일 뿐이고, 시험이 묻는 것은 나머지 둘입니다.
풀고 시작
문제 1. 관계형 데이터베이스의 표에 더해 SNS 글, 서버 로그, CCTV 영상까지 다뤄야 하는 성질을 가리키는 빅데이터의 특징은?
정형과 반정형, 비정형이 뒤섞인다는 것이 다양성입니다. 규모는 데이터의 양, 속도는 생성과 처리의 빠르기, 신뢰성은 3V 뒤에 덧붙은 4번째 V라서 셋 다 이 상황을 설명하지 못합니다.
3V는 유행어가 아니라 보고서 한 장에서 나왔습니다
2001년, 메타그룹의 애널리스트 더그 레이니가 짧은 보고서 한 편을 씁니다. 제목에 "빅데이터"라는 말은 없었습니다. 그가 걱정한 것은 전자상거래 때문에 데이터 관리가 세 방향으로 동시에 어려워졌다는 사실이었죠. 양이 늘고(Volume), 종류가 늘고(Variety), 들어오는 속도가 빨라졌다(Velocity)는 겁니다. 이 세 단어가 십 년 뒤 빅데이터의 표준 정의로 재활용됩니다. 시험이 3V를 그렇게 자주 묻는 이유도 여기 있습니다. 이 셋은 누군가의 구호가 아니라 실무에서 실제로 부딪힌 세 가지 벽이거든요.
이후 V는 계속 늘어납니다. 데이터가 믿을 만한가를 뜻하는 신뢰성(Veracity), 그래서 돈이 되는가를 뜻하는 가치(Value)를 더하면 5V입니다. 여기에 목적에 맞는가를 뜻하는 정확성(Validity)과 시간이 지나면 쓸모가 사라진다는 휘발성(Volatility)까지 붙이면 7V가 되죠. 외우실 때는 3V가 원조이고 4번째가 신뢰성, 5번째가 가치라는 순서만 잡아 두시면 나머지는 딸려 옵니다.
데이터에서 지혜까지, DIKW
시험은 데이터와 정보와 지식을 구분시키는 것을 좋아합니다. 마트 예시가 제일 선명합니다.
단계
뜻
예
데이터 (Data)
가공되지 않은 사실
A마트는 연필이 500원, B마트는 700원
정보 (Information)
데이터를 가공해 얻은 의미
A마트가 연필이 더 싸다
지식 (Knowledge)
정보를 구조화해 얻은 판단
연필은 A마트에서 사는 게 낫겠다
지혜 (Wisdom)
지식에 통찰을 더한 창의적 아이디어
A마트는 다른 물건도 쌀 것이다
마지막 칸이 헷갈리시죠. 지혜는 데이터에 없는 것을 넘겨짚는 단계라고 기억하시면 됩니다. 근거가 있는 판단까지가 지식이고, 근거 너머로 한 발 나간 추론이 지혜입니다.
빅데이터가 바꾼 네 가지 습관
빅데이터 이전의 데이터 분석은 아껴 쓰는 기술이었습니다. 데이터가 비쌌으니까요. 그래서 넷이 뒤집힙니다.
사전 처리에서 사후 처리로. 예전에는 필요한 것만 미리 정해서 모았습니다. 지금은 일단 다 모아 두고 나중에 필요한 것을 찾습니다. 표본조사에서 전수조사로. 전부 다룰 수 있게 되자 표본을 뽑을 이유가 줄었습니다. 질에서 양으로. 데이터 하나하나의 정확도가 조금 떨어져도 양이 충분하면 오차가 상쇄된다고 봅니다. 인과관계에서 상관관계로. 왜 그런지 몰라도 무엇과 무엇이 같이 움직이는지만 알면 예측하고 대응할 수 있죠.
마지막 항목은 논쟁적입니다. 상관만으로 충분하다는 주장은 예측에는 맞지만 개입에는 틀립니다. 기저귀와 맥주가 같이 팔린다는 것을 알아도, 맥주를 옆에 옮겼을 때 정말 더 팔릴지는 다른 문제입니다. 시험은 "상관관계 중시"를 정답으로 취급하지만, 실무에서 이 문장을 그대로 믿으면 다칩니다.
위기 요인과 그 통제
빅데이터의 위기 요인은 셋으로 정리됩니다. 그리고 각각의 통제 방안이 짝으로 붙어 나오는데, 이 짝이 시험의 단골입니다.
사생활 침해의 통제는 동의제에서 책임제로 옮기는 것입니다. 정보를 준 사람에게 동의를 받는 방식은 이미 한계에 왔으니, 쓰는 쪽이 결과를 책임지게 하자는 발상이죠. 책임 원칙 훼손의 통제는 결과 기반 책임 원칙을 지키는 것입니다. 아직 저지르지 않은 일을 예측만으로 처벌하면 안 된다는 뜻입니다. 데이터 오용의 통제는 알고리즘 접근 허용입니다. 알고리즘이 나를 어떻게 판단했는지 따져 물을 수 있어야 하고, 이걸 대신 검증해 주는 직업을 알고리즈미스트라고 부릅니다.
인출 문제
문제 1. 빅데이터 특징 중 4번째 V로 흔히 추가되며, 데이터에 오류와 노이즈가 섞여 있어 믿을 만한가를 따지는 것은?
신뢰성은 데이터 자체의 품질과 불확실성을 가리키며 3V 다음에 붙는 4번째 V입니다. 가치는 5번째로, 분석을 통해 무엇을 얻느냐의 문제라 데이터 품질과는 층위가 다릅니다. 휘발성과 정확성은 7V까지 확장할 때 등장합니다.
문제 2. DIKW 피라미드에서 "A마트가 연필이 싸니 다른 물건도 쌀 것이다"는 어느 단계인가요?
가진 근거를 넘어 다른 품목까지 넘겨짚는 창의적 추론이므로 지혜입니다. 가격을 비교해 A가 싸다고 판단한 것이 정보, 그러니 A에서 연필을 사겠다는 결정까지가 지식입니다.
문제 3. 빅데이터 시대의 분석 패러다임 변화로 흔히 꼽히지 않는 것은?
방향이 반대입니다. 왜 그런지를 밝히기 전에 무엇과 무엇이 함께 움직이는지로 예측하고 대응하는 쪽, 즉 인과관계에서 상관관계로 무게가 옮겨 갔다고 봅니다. 다만 개입이 필요한 의사결정에서는 상관만으로 부족하다는 반론이 있습니다.
문제 4. 빅데이터의 위기 요인과 그 통제 방안의 짝으로 옳은 것은?
알고리즘이 나를 어떻게 판단했는지 확인하고 반박할 수 있게 하자는 것이 데이터 오용에 대한 통제입니다. 사생활 침해에는 동의제에서 책임제로의 전환이, 책임 원칙 훼손에는 결과 기반 책임 원칙이 짝입니다. 보기 1번과 3번은 짝을 서로 바꿔 놓은 것입니다.
생각해볼 질문 (정답 없음)
"왜"를 모르고 "무엇"만 아는 예측을 어디까지 믿고 결정에 쓰시겠습니까. 채용, 대출 심사, 형량 판단이라면 답이 달라지시나요.
더 풀기
출제기준의 세세항목을 따라 이 강의 범위에서 새로 낸 문제입니다. 모의고사도 여기에서 뽑습니다.
묶음 1
문제 1. 2001년 보고서에서 데이터 관리의 어려움을 세 방향으로 정리해 오늘날 3V의 뿌리가 된 사람은?
메타그룹의 애널리스트였던 더그 레이니가 전자상거래로 데이터의 양과 종류와 속도가 동시에 늘었다고 정리한 것이 3V의 출발입니다. 마이어 쇤베르거는 빅데이터의 사회적 의미를 대중화한 저술가이고, 힌턴은 딥러닝, 튜키는 탐색적 자료분석으로 이름을 남겼습니다.
문제 2. 빅데이터의 3V에 해당하지 않는 것은?
원조 3V는 규모와 속도와 다양성입니다. 가치는 신뢰성 다음에 붙어 5V를 만드는 항목이라 3V에는 들어가지 않습니다.
문제 3. 초당 수만 건씩 들어오는 결제 로그를 지연 없이 처리해야 하는 상황이 부각시키는 빅데이터의 특징은?
속도는 데이터가 생성되는 빠르기와 그것을 처리해야 하는 빠르기를 함께 가리킵니다. 총량이 문제였다면 규모, 형식이 뒤섞인 것이 문제였다면 다양성이었을 것입니다.
문제 4. 다음 중 신뢰성을 설명한 것으로 가장 알맞은 것은?
신뢰성은 데이터 자체의 품질과 불확실성을 가리킵니다. 첫 번째는 가치, 세 번째는 휘발성, 네 번째는 정확성의 설명입니다.
문제 5. 휘발성이 문제가 되는 데이터의 예로 가장 적절한 것은?
몇 분만 지나도 쓸모가 사라지는 실시간 정보가 휘발성의 전형입니다. 인구 총조사나 재무제표는 오래 참조되는 자료이고, 고전 문헌은 시간이 지나도 가치가 유지됩니다.
문제 6. 데이터 크기 단위를 작은 것에서 큰 것 순으로 옳게 나열한 것은?
킬로, 메가, 기가, 테라, 페타, 엑사, 제타, 요타 순으로 천 배씩 커집니다. 테라 다음이 페타이고 그다음이 엑사, 제타입니다.
문제 7. DIKW 피라미드에서 "A마트의 연필이 500원이다"는 어느 단계인가요?
가공되지 않은 사실 그 자체이므로 데이터입니다. 두 마트를 비교해 어디가 싸다고 판단하면 정보, 그래서 어디서 사겠다고 정하면 지식이 됩니다.
문제 8. DIKW 피라미드의 단계를 아래에서 위로 옳게 나열한 것은?
사실인 데이터를 가공하면 정보가 되고, 정보를 구조화해 판단에 쓰면 지식이며, 근거 너머로 한 발 나간 창의적 추론이 지혜입니다.
문제 9. "이 마트는 연필이 싸니 지우개도 쌀 것이다"라는 추론이 지혜로 분류되는 이유로 가장 알맞은 것은?
지혜는 근거가 닿지 않는 곳까지 나아가는 창의적 추론입니다. 근거 안에서 내리는 판단까지가 지식이고, 표로 모으거나 그림으로 그리는 것은 단계를 올리는 기준이 아닙니다.
문제 10. 빅데이터 시대의 분석 습관 변화로 옳은 것은?
전부 다룰 수 있게 되면서 표본을 뽑을 이유가 줄었습니다. 나머지 세 보기는 모두 실제 변화의 방향을 거꾸로 적은 것입니다.
문제 11. "질보다 양"이라는 변화가 성립하는 근거로 가장 알맞은 것은?
개별 관측의 잡음이 상쇄된다는 것이 근거입니다. 측정 정확도 자체가 좋아지지도, 결측이 사라지지도 않으며, 양이 인과를 보장하지도 않습니다.
문제 12. 상관관계 중심의 예측이 가진 한계를 가장 잘 지적한 것은?
상관은 예측에는 쓸 만하지만 개입의 결과를 보장하지 못합니다. 함께 팔린다는 사실을 알아도 자리를 옮겼을 때 더 팔릴지는 다른 문제입니다.
묶음 2
문제 1. 빅데이터의 위기 요인 가운데 사생활 침해에 대한 통제 방안으로 제시되는 것은?
정보 주체에게 일일이 동의를 받는 방식이 한계에 이르렀으니 쓰는 쪽이 결과를 책임지게 하자는 것이 통제 방안입니다. 두 번째는 책임 원칙 훼손, 세 번째는 데이터 오용에 대한 통제입니다.
문제 2. 아직 저지르지 않은 일을 예측만으로 불이익을 주는 문제와 짝을 이루는 위기 요인은?
예측을 근거로 미리 처벌하면 행위에 대해 책임을 묻는다는 원칙이 무너집니다. 그래서 결과 기반 책임 원칙을 지키는 것이 통제 방안으로 붙습니다.
문제 3. 알고리즈미스트에 대한 설명으로 옳은 것은?
알고리즘의 피해자를 대신해 판단 근거를 검증하는 역할이 알고리즈미스트입니다. 데이터 오용에 대한 통제인 알고리즘 접근 허용과 짝을 이룹니다.
문제 4. 빅데이터의 가치를 미리 산정하기 어려운 이유로 보기 어려운 것은?
저장 비용은 오히려 계산하기 쉬운 항목입니다. 가치 산정이 어려운 것은 쓰임이 미리 정해지지 않고 나중에 새로 생기기 때문입니다.
문제 5. 빅데이터 활용을 위한 세 가지 요소로 흔히 함께 묶이는 것은?
데이터라는 자원과 그것을 다루는 기술, 그리고 이를 운용하는 인력이 세 요소로 묶입니다. 자본과 규제는 환경 요인이지 활용의 세 요소로 꼽히지 않습니다.
문제 6. 데이터 사이언티스트의 소프트 스킬에 해당하는 것은?
통찰력 있는 분석과 설득력 있는 전달, 협업 능력이 소프트 스킬입니다. 나머지 셋은 이론과 도구를 다루는 하드 스킬입니다.
문제 7. 빅데이터 출현의 배경으로 보기 어려운 것은?
관계형 데이터베이스는 1970년대에 자리 잡은 기술이라 빅데이터의 배경이라기보다 그 이전 시대의 표준입니다. 나머지 셋은 2000년대 이후 데이터가 폭증한 직접적 배경입니다.
문제 8. 데이터화에 대한 설명으로 가장 알맞은 것은?
위치, 걸음 수, 표정처럼 기록의 대상이 아니던 것을 측정해 데이터로 만드는 것이 데이터화입니다. 표 정리나 암호화, 시각화는 이미 데이터가 된 다음의 작업입니다.
문제 9. 빅데이터에 대한 회의론의 근거로 흔히 언급되는 것은?
성공 사례만 부각되고 실패는 감춰지며, 예전 사업이 이름만 바꿔 돌아온다는 것이 대표적 회의론입니다. 저장 비용은 오히려 계속 떨어졌습니다.
문제 10. 개인 차원의 빅데이터 활용 사례로 가장 알맞은 것은?
개인이 자신의 기록을 통해 편익을 얻는 것이 개인 차원의 활용입니다. 나머지는 정부나 기업 차원의 활용에 해당합니다.
문제 11. 빅데이터가 기업에 주는 효과로 보기 어려운 것은?
활용이 늘수록 개인정보 보호와 관련한 책임은 오히려 커집니다. 나머지 셋은 실제로 보고되는 효과입니다.
문제 12. 다음 중 비정형 데이터에 해당하는 것은?
정해진 구조가 없는 음성 파일이 비정형입니다. 표와 쉼표 구분 파일은 정형이고, 항목 이름이 데이터 안에 함께 들어 있는 로그는 반정형으로 분류합니다.
묶음 3
문제 1. 정확성이라는 V가 뜻하는 바로 가장 알맞은 것은?
정확성은 목적 적합성을 가리킵니다. 데이터가 아무리 정밀해도 물으려는 질문과 어긋나면 쓸 수 없다는 지적입니다.
문제 2. 빅데이터를 정의할 때 크기만으로 규정하기 어려운 이유로 가장 알맞은 것은?
어제의 빅데이터가 오늘은 평범한 데이터가 됩니다. 기준이 기술 수준에 따라 움직이기 때문에 크기 하나로는 정의가 서지 않습니다.
문제 3. 다음 설명에 해당하는 개념은? "전체를 다 볼 수 있게 되면서 일부만 뽑아 추정하던 관행이 약해졌다."
표본조사에서 전수조사로의 이동에 대한 설명입니다. 사후 처리는 모아 두고 나중에 고르는 방식, 데이터화는 기록되지 않던 것을 데이터로 만드는 일입니다.
문제 4. 빅데이터 분석에서 상관관계만으로 충분하다는 주장이 특히 위험해지는 상황은?
개입의 결과를 예측하려면 인과가 필요합니다. 단순 예측이나 시각화, 결측 대체는 상관 구조만으로도 상당 부분 처리됩니다.
문제 5. 마이어 쇤베르거가 정리한 빅데이터의 본질적 변화에 해당하지 않는 것은?
데이터의 공개 여부는 그가 정리한 세 가지 변화에 들어가지 않습니다. 나머지 셋이 흔히 함께 묶여 제시됩니다.
문제 6. 다음 중 정보에 해당하는 진술은?
두 값을 비교해 의미를 만든 것이 정보입니다. 첫 번째는 데이터, 세 번째는 지식, 네 번째는 근거 너머의 추론이라 지혜입니다.
문제 7. 다음 중 지식에 해당하는 진술은?
정보를 바탕으로 행동 방침을 세우는 단계가 지식입니다. 첫 번째는 데이터, 두 번째는 정보, 네 번째는 근거를 넘어선 추론입니다.
문제 8. 빅데이터 처리에서 사후 처리라는 말이 뜻하는 것은?
필요한 것만 미리 정해 모으던 사전 처리와 대비되는 개념입니다. 결측 처리나 모니터링은 다른 층위의 이야기입니다.
문제 9. 다음 중 반정형 데이터로 분류되는 것은?
스키마가 데이터 안에 함께 들어 있으면 반정형입니다. 스키마가 밖에 정의된 표는 정형, 이미지와 음성은 비정형입니다.
문제 10. 빅데이터의 가치가 재사용에서 나온다는 말의 뜻으로 가장 알맞은 것은?
검색 기록이 독감 유행 추정에 쓰이듯, 처음 목적과 무관한 곳에서 다시 쓰이는 데서 가치가 생깁니다. 복제 보관은 가용성의 문제입니다.
문제 11. 빅데이터 시대에 데이터 품질보다 양이 강조되면서 함께 커진 위험은?
잡음은 양으로 상쇄되지만 체계적 편향은 양을 늘려도 그대로 남습니다. 오히려 큰 표본이 잘못된 결론에 확신을 더해 줍니다.