빅데이터를 "큰 데이터"라고 번역하는 순간 절반을 놓칩니다. 크기보다 빠르기와 잡다함이 먼저 사람을 곤란하게 만들었습니다.
풀고 시작
문제 1. 한 편의점 본사는 하루 판매 기록이 몇 기가바이트에 불과하지만, 전국 매장의 계산대와 날씨, 지역 행사 정보, 소셜 미디어 글을 초 단위로 받아 즉시 발주를 조정하려 합니다. 이 과제가 빅데이터 과제로 불리는 가장 큰 이유는 무엇입니까?
빅데이터는 크기만으로 정해지지 않습니다. 이 과제는 양은 크지 않아도 들어오는 속도가 빠르고 형태가 정형부터 소셜 글까지 다양해 기존 방식으로 즉시 처리하기 어렵다는 점에서 빅데이터의 성격을 띱니다.
크기만으로는 정의되지 않습니다
2001년 메타 그룹(뒤에 가트너에 합병)의 애널리스트 더그 레이니는 데이터 관리가 세 방향으로 동시에 어려워지고 있다는 짧은 보고서를 썼습니다. 그 세 방향의 영어 머리글자가 모두 V였기 때문에 이 틀은 3V라는 이름으로 퍼졌습니다.
V
뜻
곤란해지는 장면
규모 (Volume)
데이터의 양
하루치 로그가 서버 한 대에 들어가지 않습니다
속도 (Velocity)
데이터가 생기고 처리되어야 하는 빠르기
결제가 사기인지 1초 안에 판정해야 합니다
다양성 (Variety)
데이터 형태의 종류
표, 글, 사진, 센서 신호를 한꺼번에 다룹니다
뒤이어 사람들은 V를 하나둘 더 붙였습니다. 데이터에서 실제로 쓸모를 뽑아내야 한다는 가치(Value), 데이터가 얼마나 믿을 만한가를 묻는 정확성(Veracity)이 대표적입니다. 그래서 4V, 5V라는 말도 쓰입니다. 어떤 판본을 쓰든 요점은 같습니다. 빅데이터는 기존의 도구와 방식으로는 감당하기 어려워진 데이터를 가리키는 말이지, 몇 테라바이트를 넘으면 빅데이터라는 식의 크기 기준이 아닙니다.
왜 하필 그때 왔을까
빅데이터가 2000년대 후반에 한꺼번에 몰려온 데는 몇 가지 흐름이 겹쳤습니다.
첫째, 저장 비용이 무너졌습니다. 하드디스크 용량당 가격이 급격히 내려가면서 예전 같으면 지웠을 기록을 그냥 남겨 두는 편이 더 싸졌습니다. 둘째, 데이터를 만드는 손이 폭발적으로 늘었습니다. 스마트폰과 소셜 미디어가 퍼지면서 사람 한 명 한 명이 사진과 글과 위치를 쉬지 않고 만들어 냈고, 사물 인터넷(IoT) 센서는 사람이 자는 동안에도 기록했습니다. 셋째, 여러 대의 싼 컴퓨터를 묶어 쓰는 기술이 나왔습니다. 구글이 2003년과 2004년에 분산 파일 시스템과 맵리듀스(MapReduce)를 설명한 논문을 내자, 더그 커팅 등이 이를 본떠 오픈소스 하둡(Hadoop)을 만들었습니다. 비싼 대형 컴퓨터 한 대 대신 평범한 서버 수백 대로 거대한 데이터를 나눠 처리할 길이 열린 것이죠. 넷째, 클라우드가 이 모든 자원을 필요할 때만 빌려 쓰게 해 주었습니다.
생각하는 방식이 달라졌습니다
빅데이터가 바꾼 것은 도구만이 아닙니다. 빅토르 마이어쇤베르거와 케네스 쿠키어는 2013년의 책에서 데이터를 대하는 생각이 세 방향으로 옮겨 가고 있다고 정리했습니다.
표본에서 전체로. 예전에는 전체를 조사할 수 없어 일부를 뽑아 전체를 추정했습니다. 이제는 전체 기록을 그냥 다 보는 일이 가능해진 경우가 많습니다. 정확성에서 양으로. 한 건 한 건을 깨끗하게 다듬기보다 조금 지저분해도 많이 모으는 편이 더 나은 답을 줄 때가 있습니다. 인과에서 상관으로. 왜 그런지를 밝히기 전에 무엇과 무엇이 함께 움직이는지만 알아도 예측과 결정에 쓸 수 있습니다.
다만 세 번째 옮겨 감에는 조심할 대목이 있습니다. 구글은 2008년에 검색어의 움직임만으로 독감 유행을 예측하는 서비스를 내놓았는데, 몇 해 뒤 실제 유행보다 크게 부풀린 값을 내놓아 과학 학술지에서 비판을 받았습니다. 상관만 보고 이유를 묻지 않으면 사람들의 검색 습관이 바뀌는 순간 예측이 무너질 수 있다는 교훈이죠. 상관은 출발점이지 결론이 아닙니다. 이 이야기는 3과목의 회귀분석에서 다시 만납니다.
가치를 매기기가 왜 어려운가
석유는 한 번 태우면 사라지지만 데이터는 써도 닳지 않습니다. 이 성질 때문에 데이터의 가치는 모을 때 정해지지 않습니다.
우선 다시 쓰고 섞어 쓸 수 있습니다. 배송을 위해 모은 주소 데이터가 나중에 새 매장 입지를 고르는 데 쓰이고, 날씨 데이터와 합쳐지면 또 다른 쓸모가 생깁니다. 처음 모은 목적과 다른 곳에서 가치가 생기니 모으는 시점에 가치를 다 셀 수 없습니다. 다음으로 분석 기술이 발전하면 같은 데이터의 가치가 바뀝니다. 예전에는 쓸모없어 보이던 대량의 사진이 이미지 인식 기술이 나온 뒤 갑자기 금광이 되었죠. 마지막으로 누가 어떤 질문을 던지느냐에 따라 같은 데이터가 전혀 다른 값을 가집니다.
빅데이터가 미치는 영향도 누구 편에서 보느냐에 따라 달라집니다. 기업은 고객을 더 잘 이해해 혁신과 원가 절감을 노리고, 정부는 사회 현상을 더 빨리 읽어 정책의 미래를 대비하며, 개인은 맞춤 추천 같은 편리를 누리는 동시에 자기 정보가 어디에 쓰이는지 걱정하게 됩니다. 그 걱정이 다음 강의 주제입니다.
인출 문제
문제 1. 빅데이터를 설명하는 3V에 해당하지 않는 것은?
레이니가 처음 제시한 3V는 규모, 속도, 다양성입니다. 가치는 뒤에 덧붙여진 V로 4V나 5V에 들어가며, 처음의 세 가지에는 포함되지 않았습니다.
문제 2. 빅데이터가 2000년대 후반에 한꺼번에 몰려온 배경으로 가장 거리가 먼 것은?
빅데이터 시대를 연 것은 오히려 대형 컴퓨터 한 대 대신 싼 서버 여러 대로 나눠 처리하는 분산 기술이었습니다. 저장 비용 하락과 데이터를 만드는 손의 증가도 함께 작용했습니다.
문제 3. 구글이 검색어만으로 독감 유행을 예측하려다 실제보다 크게 부풀린 값을 낸 사례가 주는 교훈으로 가장 알맞은 것은?
검색어와 독감이 함께 움직였다는 상관만 믿고 그 이유를 따지지 않으면, 사람들의 검색 습관이 바뀌는 순간 예측이 틀어집니다. 데이터가 많다고 자동으로 정확해지지는 않는다는 경고이기도 합니다.
문제 4. 데이터의 가치를 모으는 시점에 정하기 어려운 이유로 가장 적절한 것은?
데이터는 써도 닳지 않고 다시 쓰고 섞어 쓸 수 있어, 처음 목적과 다른 곳에서 가치가 새로 생깁니다. 분석 기술이 발전하면 같은 데이터의 값이 바뀌기도 하므로 모으는 시점에 가치를 다 셀 수 없습니다.
더 풀기
출제기준의 세부항목을 따라 이 강의 범위에서 새로 낸 문제입니다. 모의고사도 여기에서 뽑습니다.
묶음 1
문제 1. 신용카드 회사가 결제 한 건마다 사기 여부를 1초 안에 판정해야 하는 상황은 3V 가운데 무엇이 가장 두드러지게 어려워진 경우입니까?
데이터가 생기는 즉시 짧은 시간 안에 처리해야 한다는 요구가 핵심이므로 속도(Velocity)의 문제입니다. 결제 데이터의 양이나 형태보다 판정해야 하는 빠르기가 먼저 부담이 됩니다.
문제 2. 한 병원이 진료 기록 표, 의사 소견 글, 엑스레이 영상, 심박 센서 신호를 한 분석에서 함께 쓰려 합니다. 3V 가운데 무엇이 가장 두드러지게 어려워진 경우입니까?
표, 글, 영상, 센서 신호처럼 형태가 서로 다른 데이터를 함께 다뤄야 한다는 점이 핵심이므로 다양성(Variety)의 문제입니다. 양이나 들어오는 빠르기보다 형태의 잡다함이 먼저 부담이 됩니다.
문제 3. 3V라는 틀을 처음 제시한 사람과 시기로 옳은 것은?
3V는 2001년 메타 그룹의 애널리스트 더그 레이니가 데이터 관리가 세 방향으로 어려워진다고 쓴 보고서에서 나왔습니다. 커드는 관계형 데이터베이스, 구글 연구진은 분산 처리, 마이어쇤베르거와 쿠키어는 생각 방식의 변화를 다뤘습니다.
문제 4. 빅데이터의 정의에 관한 설명으로 가장 적절한 것은?
빅데이터는 특정 크기를 넘으면 붙는 이름이 아니라 기존 방식으로 저장, 처리, 분석하기 어려워진 상태를 가리킵니다. 그래서 양이 크지 않아도 속도나 다양성 때문에 빅데이터 문제가 될 수 있습니다.
문제 5. 5V로 확장할 때 흔히 더해지는 "정확성(Veracity)"이 묻는 것은 무엇입니까?
정확성은 데이터에 잡음이나 편향, 오류가 얼마나 섞여 있는지, 곧 믿을 만한지를 묻습니다. 빠르기는 속도, 형태의 종류는 다양성이 다룹니다.
문제 6. 오픈소스 하둡(Hadoop)이 등장하는 데 직접적인 영향을 준 것은 무엇입니까?
하둡은 구글이 2003년과 2004년에 발표한 분산 파일 시스템과 맵리듀스 논문을 본떠 만든 오픈소스입니다. 나머지는 각각 관계형 모델, 데이터 웨어하우스, 지식 창출을 다룬 것이라 하둡과 직접 이어지지 않습니다.
문제 7. 하둡 같은 분산 처리 기술이 빅데이터 분석에 가져온 가장 큰 변화는 무엇입니까?
분산 처리는 비싼 대형 컴퓨터 한 대 대신 싼 서버 수백 대에 일을 나눠 맡기는 방식입니다. 데이터는 여전히 저장해야 하고, 형태를 자동으로 바꿔 주는 기술은 아닙니다.
문제 8. 클라우드 컴퓨팅이 빅데이터 확산에 기여한 방식으로 가장 알맞은 것은?
클라우드 덕분에 큰 장비를 미리 사 두지 않고도 필요할 때만 자원을 빌려 쓸 수 있게 되어 빅데이터 분석의 문턱이 낮아졌습니다. 비용이 줄었을 뿐 무료가 된 것은 아니고, 형태를 통일하거나 사람을 대신하지도 않습니다.
문제 9. 사물 인터넷(IoT)이 빅데이터 증가에 기여한 가장 큰 이유는 무엇입니까?
IoT 센서는 사람이 자는 동안에도 온도, 위치, 진동 같은 기록을 계속 쏟아 내 데이터를 만드는 손을 크게 늘렸습니다. 사람의 입력이 늘어난 것이 아니라 오히려 사람 없이 쌓이는 데이터가 늘어난 것입니다.
문제 10. 저장 비용이 크게 내려간 것이 빅데이터 확산에 준 영향으로 가장 알맞은 것은?
용량당 가격이 무너지면서 지우는 수고보다 남겨 두는 비용이 더 싸졌고, 그렇게 쌓인 기록이 빅데이터의 재료가 되었습니다. 저장이 싸지자 오히려 더 많이 남기게 된 셈입니다.
묶음 2
문제 1. 마이어쇤베르거와 쿠키어가 말한 "표본에서 전체로"의 변화를 가장 잘 보여 주는 예는 무엇입니까?
예전에는 전체를 볼 수 없어 표본을 뽑았지만, 이제는 전체 기록을 그대로 보는 일이 가능해진 경우가 많습니다. 1,000명을 뽑는 것은 바로 그 이전 방식이고, 원인을 밝히는 실험은 인과를 묻는 쪽입니다.
문제 2. "정확성에서 양으로"라는 변화에 관한 설명으로 가장 적절한 것은?
이 변화는 대량의 데이터가 개별 오류를 어느 정도 상쇄해 쓸 만한 답을 줄 수 있다는 관점입니다. 그렇다고 오류가 사라지거나 정확성을 완전히 버려도 된다는 뜻은 아니며, 5V의 정확성이 바로 그 경계를 가리킵니다.
문제 3. "인과에서 상관으로"의 변화를 가장 잘 보여 주는 진술은 무엇입니까?
이 변화는 이유를 다 밝히지 않아도 함께 움직이는 패턴만으로 예측할 수 있다는 관점입니다. 하지만 상관이 인과를 증명하지는 않고, 독감 예측 사례처럼 이유를 묻지 않으면 예측이 무너질 수 있으므로 원인 연구가 사라지지는 않습니다.
문제 4. 한 온라인 서점이 "이 책을 산 사람은 저 책도 샀다"는 패턴만으로 추천을 만들었더니 판매가 늘었습니다. 이 사례가 가장 잘 보여 주는 변화는 무엇입니까?
왜 두 책이 함께 팔리는지는 밝히지 않았지만 함께 팔린다는 상관만으로 쓸모 있는 추천을 만들었으니 인과에서 상관으로의 변화입니다. 3과목의 연관분석이 바로 이 생각을 다루는 기법입니다.
문제 5. 데이터가 석유와 다른 점으로 가장 알맞은 것은?
석유는 태우면 사라지지만 데이터는 여러 번 써도 닳지 않고 다른 데이터와 섞어 새 가치를 만들 수 있습니다. 이 성질 때문에 데이터의 가치는 처음 모을 때 다 정해지지 않습니다.
문제 6. 배송을 위해 모은 고객 주소 데이터가 나중에 새 매장의 입지를 고르는 데 쓰였습니다. 이 사례가 보여 주는 데이터의 성질은 무엇입니까?
주소 데이터가 배송이라는 원래 목적을 넘어 입지 선정에 다시 쓰였으니 재사용의 성질입니다. 이렇게 쓰임이 넓어질 수 있어 데이터의 가치를 모으는 시점에 다 셀 수 없습니다.
문제 7. 한 회사가 10년 동안 쌓아 둔 제품 사진이 이미지 인식 기술이 나온 뒤 불량 판정 모델의 학습 재료가 되었습니다. 이 사례가 보여 주는 가치 산정의 어려움은 무엇입니까?
쓸모없어 보이던 사진이 새 기술 덕분에 귀한 학습 재료가 되었으니, 기술 발전이 같은 데이터의 가치를 바꾼 경우입니다. 비정형 데이터도 이렇게 큰 가치를 가질 수 있습니다.
문제 8. 같은 날씨 데이터를 두고 농부는 수확 시기를, 우산 회사는 생산량을, 전력 회사는 전력 수요를 정했습니다. 이 사례가 보여 주는 것은 무엇입니까?
같은 날씨 기록이 질문에 따라 수확, 생산, 전력이라는 서로 다른 결정을 도왔습니다. 데이터의 가치가 데이터 자체가 아니라 쓰는 사람의 질문에서 정해진다는 것을 보여 줍니다.
문제 9. 빅데이터가 기업에 주는 영향으로 가장 알맞은 것은?
기업은 빅데이터로 고객의 행동을 더 잘 읽어 새 서비스를 만들고 낭비를 줄이는 기회를 얻습니다. 사람 없이 모든 결정을 내리게 되거나 경쟁사와 공유가 의무가 되는 것은 아닙니다.
문제 10. 빅데이터가 정부에 주는 영향으로 가장 알맞은 것은?
정부는 교통, 보건, 재난 같은 사회 현상을 데이터로 빨리 읽어 미리 대비하는 데 빅데이터를 씁니다. 그렇다고 개인정보를 제한 없이 모을 권리가 생기지는 않으며, 그 경계는 다음 강의 위기 요인에서 다룹니다.
묶음 3
문제 1. 하루 데이터가 몇 기가바이트에 불과한 회사도 빅데이터 과제를 가질 수 있는 이유로 가장 적절한 것은?
빅데이터는 크기 하나로 정해지지 않고, 빠르게 들어오거나 형태가 다양해 기존 방식으로 다루기 어려우면 양이 작아도 빅데이터 문제가 됩니다. 그렇다고 양이 전혀 무관한 것은 아니며, 규모도 세 V 가운데 하나입니다.
문제 2. 한 동영상 플랫폼에 매분 수백 시간 분량의 영상이 새로 올라옵니다. 이 상황에서 동시에 두드러지는 V를 가장 잘 짝지은 것은?
영상은 파일 하나하나가 크고 올라오는 양이 많아 규모가 크며, 매분 쉬지 않고 들어오니 속도도 두드러집니다. 가치와 정확성은 이 상황에서 먼저 부담이 되는 성격이 아닙니다.
문제 3. 4V나 5V로 확장할 때 흔히 더해지는 "가치(Value)"가 강조하는 것은 무엇입니까?
가치는 데이터를 많이, 빨리, 다양하게 모으는 것만으로는 의미가 없고 결국 쓸모를 뽑아내야 한다는 점을 강조합니다. 장치 가격이 아니라 데이터에서 얻는 쓸모를 가리킵니다.
문제 4. 다음 중 빅데이터 시대의 생각 방식 변화로 보기 어려운 것은?
빅데이터가 가져온 변화는 표본을 뽑던 방식에서 전체를 보는 방식으로 옮겨 간 것입니다. 전체에서 표본으로는 그 반대 방향이라 빅데이터 시대의 변화가 아닙니다.
문제 5. 상관관계만으로 예측하는 방식의 한계를 가장 잘 설명한 것은?
이유를 모른 채 함께 움직인다는 사실만 믿으면, 그 관계를 만든 조건이 바뀔 때 무엇이 틀렸는지도 모른 채 예측이 무너집니다. 독감 예측 서비스의 실패가 대표적인 예입니다.
문제 6. 빅데이터가 개인에게 주는 영향에 관한 설명으로 가장 균형 잡힌 것은?
개인은 추천과 맞춤 서비스로 편리를 얻지만, 그만큼 자기 정보가 어디서 어떻게 쓰이는지에 대한 우려도 커집니다. 편리와 우려가 함께 온다는 점이 다음 강의 위기 요인으로 이어집니다.
문제 7. 마이어쇤베르거와 쿠키어의 논의에 관한 설명으로 옳은 것은?
두 사람은 2013년 책에서 빅데이터가 가져온 생각 방식의 세 가지 변화를 정리했습니다. 3V는 레이니, 관계형 모델은 커드, 분산 파일 시스템은 구글 연구진의 몫입니다.
문제 8. 빅데이터 분석에서 "양이 많으면 무조건 좋다"는 생각이 위험한 이유로 가장 알맞은 것은?
한쪽으로 치우친 데이터는 아무리 많이 모아도 치우친 답을 낼 뿐이고, 양이 많으면 그 틀린 답에 대한 확신만 커집니다. 그래서 5V는 정확성을 따로 강조합니다.
문제 9. 빅데이터의 이해와 가치에 관한 진술로 옳지 않은 것은?
상관관계는 인과관계를 증명하지 않으며, 이유를 묻지 않은 상관 예측은 조건이 바뀌면 무너질 수 있다는 것이 이 강의 경고였습니다. 나머지 셋은 이 강에서 다룬 내용을 그대로 담고 있습니다.
문제 10. 한 도시가 교통 카드 기록 전체를 분석해 버스 노선을 다시 짰습니다. 예전처럼 일부 승객에게 설문을 돌리지 않았다는 점에서 가장 잘 드러나는 변화는 무엇입니까?
일부 승객에게 묻는 표본 조사 대신 모든 승객의 실제 기록을 그대로 봤으니 표본에서 전체로의 변화입니다. 교통 카드 기록은 정형 데이터라 정형에서 비정형으로의 변화와도 관계가 없습니다.