문제 1. 한 보험사가 "당신은 앞으로 사고를 낼 확률이 높다"는 예측만으로, 아직 아무 사고도 내지 않은 고객의 보험료를 올렸습니다. 이 사례가 보여 주는 빅데이터의 위기 요인은 무엇입니까?
실제로 한 행동이 아니라 앞으로 할 것이라는 예측만으로 불이익을 주었으니 책임 원칙의 훼손입니다. 사람은 저지른 일에 책임을 져야지 저지를 가능성에 책임을 져서는 안 된다는 원칙이 무너진 것이죠. 사생활 침해는 정보가 원치 않게 드러나는 문제라 초점이 다릅니다.
데이터로 돈을 버는 세 갈래
빅데이터로 가치를 만드는 방식은 크게 세 갈래로 나눠 볼 수 있습니다.
첫째, 데이터를 가진 쪽이 자기 사업을 더 잘하는 방식입니다. 쇼핑몰이 구매 기록으로 추천을 정교하게 만들고, 항공사가 탑승 기록으로 좌석 가격을 조정하는 것이 여기 듭니다. 둘째, 데이터 자체를 상품으로 파는 방식입니다. 카드사가 이름을 지운 소비 통계를 상권 분석 회사에 파는 식이죠. 셋째, 남의 데이터가 모이는 자리를 만드는 방식입니다. 판매자와 구매자, 운전자와 승객을 잇는 플랫폼은 거래를 중개하면서 양쪽의 데이터를 쌓고, 그 데이터로 다시 연결을 개선합니다.
어느 갈래든 데이터가 가치로 바뀌려면 분석 기법이 필요합니다. 빅데이터에서 자주 쓰는 기법 몇 가지를 쓰임과 함께 짚어 두겠습니다.
기법
무엇을 묻나
쓰임의 예
연관 규칙 학습
무엇과 무엇이 함께 일어나나
라면을 산 사람이 계란도 사는가
분류 (유형 분석)
이것은 어느 무리에 드나
이 메일은 스팸인가 정상인가
유전 알고리즘
여러 후보를 진화시켜 가장 좋은 해를 찾으면
택배 차량의 배송 경로를 어떻게 짤까
기계 학습
과거 데이터에서 규칙을 배워 예측하면
이 고객은 다음 달에 해지할까
회귀 분석
한 값이 변할 때 다른 값은 얼마나 변하나
광고비를 늘리면 매출이 얼마나 느나
감성 분석
글에 담긴 감정은 긍정인가 부정인가
신제품 후기가 대체로 호평인가
소셜 네트워크 분석
누가 누구와 이어져 있고 누가 중심인가
입소문을 퍼뜨릴 영향력자는 누구인가
이 가운데 연관 규칙, 분류, 회귀는 3과목에서 R로 직접 다룹니다. 여기서는 어떤 질문에 어떤 기법이 맞는지 짝을 짓는 감각을 먼저 잡아 두면 됩니다.
데이터가 사람을 해치는 세 가지 길
데이터가 커질수록 그 그림자도 커집니다. 3강에서 인용한 마이어쇤베르거와 쿠키어는 같은 책에서 빅데이터가 부르는 위험을 세 가지로 짚었습니다.
사생활 침해. 데이터는 모을 때의 목적을 넘어 계속 다시 쓰이고 섞입니다. 따로 보면 아무 문제 없던 기록들이 합쳐지는 순간 한 사람의 생활이 통째로 드러나기도 하죠. 이름을 지운 데이터라도 다른 데이터와 맞춰 보면 누구인지 되살아나는 일이 실제로 여러 번 있었습니다.
책임 원칙의 훼손. 예측이 정교해질수록 "아직 하지 않았지만 할 것 같은" 사람을 미리 처벌하고 싶어집니다. 풀고 시작의 보험사가 그 예입니다. 사람은 자기가 한 일에 책임을 진다는 원칙이 무너지면 개인의 자유 의지가 설 자리가 사라집니다.
데이터 오용. 데이터가 늘 옳다고 믿고 그 결과를 맹신하는 것도 위험입니다. 잘못 모은 데이터, 잘못 고른 지표, 과거의 차별을 그대로 담은 데이터로 만든 판단은 숫자의 권위를 빌려 틀린 결정을 밀어붙이게 합니다.
통제할 방법
세 위험에는 각각 짝이 되는 대책이 거론됩니다.
위기 요인
통제 방안
사생활 침해
개인의 동의에만 기대지 말고 데이터를 쓰는 쪽이 결과에 책임지게 합니다
책임 원칙의 훼손
예측이 아니라 실제로 한 행동을 기준으로 책임을 묻는 원칙을 지킵니다
데이터 오용
알고리즘을 들여다보고 판단의 근거를 따질 수 있게 합니다
첫 번째 대책은 생각을 뒤집습니다. 약관 동의 버튼을 누르게 하는 것만으로는 사람들이 자기 데이터가 어디에 쓰일지 다 알 수 없으니, 동의가 아니라 사용자의 책임으로 무게를 옮기자는 것입니다. 세 번째 대책을 위해 두 저자는 알고리즘을 검토하고 그 결정 때문에 피해를 본 사람을 대변하는 새로운 전문가를 상상하고 알고리즈미스트(algorithmist)라고 불렀습니다.
앞으로의 빅데이터
미래의 빅데이터는 세 가지 방향으로 그려 볼 수 있습니다. 데이터 쪽에서는 모든 것이 기록되는 흐름, 곧 세상이 계속 데이터로 옮겨지는 데이터화(datafication)가 이어집니다. 기술 쪽에서는 스스로 배우는 알고리즘과 인공지능이 더 많은 판단을 맡습니다. 사람 쪽에서는 데이터로 질문을 푸는 데이터 사이언티스트와, 그 알고리즘을 감시하는 알고리즈미스트가 함께 필요해집니다. 데이터 사이언티스트에게 무엇이 필요한지는 다음 강에서 봅니다.
인출 문제
문제 1. 카드사가 이름을 지운 지역별 소비 통계를 상권 분석 회사에 판매하는 것은 빅데이터로 가치를 만드는 방식 가운데 무엇에 가장 가깝습니까?
카드사가 자기 결제 사업을 개선하는 것이 아니라 가공한 통계를 다른 회사에 팔았으니 데이터 자체를 상품으로 삼은 경우입니다. 플랫폼은 판매자와 구매자처럼 두 쪽을 이어 데이터가 모이게 하는 방식이라 다릅니다.
문제 2. "신제품 후기 수천 건이 대체로 호평인지 혹평인지"를 알고 싶을 때 가장 알맞은 기법은 무엇입니까?
글에 담긴 감정이 긍정인지 부정인지를 가려내는 것이 감성 분석입니다. 연관 규칙은 함께 일어나는 일, 유전 알고리즘은 최적의 해, 회귀는 값 사이의 변화량을 다룹니다.
문제 3. 빅데이터 위기 요인과 통제 방안을 짝지은 것으로 옳은 것은?
데이터 오용에는 알고리즘을 검토할 수 있게 하는 것이 짝입니다. 실제 행동 기준의 책임은 책임 원칙의 훼손에 대한 대책이고, 사생활 침해에는 동의에서 사용자 책임으로 무게를 옮기는 대책이 짝입니다.
문제 4. 알고리즈미스트(algorithmist)의 역할로 가장 알맞은 것은?
알고리즈미스트는 알고리즘이 어떻게 판단을 내리는지 들여다보고, 그 판단 때문에 불이익을 받은 사람을 대변하는 전문가로 상상된 역할입니다. 데이터 오용을 막는 대책과 이어집니다.
더 풀기
출제기준의 세부항목을 따라 이 강의 범위에서 새로 낸 문제입니다. 모의고사도 여기에서 뽑습니다.
묶음 1
문제 1. 한 차량 호출 앱이 운전자와 승객을 연결하면서 쌓인 이동 기록으로 다시 배차를 개선합니다. 이것은 빅데이터로 가치를 만드는 방식 가운데 무엇에 가장 가깝습니까?
운전자와 승객이라는 두 쪽을 이어 거래가 모이게 하고, 그 과정에서 쌓인 데이터로 연결을 다시 개선하니 플랫폼 방식입니다. 데이터를 다른 회사에 파는 것이 아니라 자기 연결 서비스에 되먹입니다.
문제 2. 한 쇼핑몰이 자기 고객의 구매 기록으로 추천을 정교하게 만들어 매출을 올렸습니다. 이것은 빅데이터로 가치를 만드는 방식 가운데 무엇입니까?
쇼핑몰이 자기 데이터로 자기 서비스인 추천을 개선했으니 자기 사업을 더 잘하는 방식입니다. 데이터를 남에게 팔거나 두 쪽을 잇는 중개가 핵심이 아닙니다.
문제 3. "라면을 산 사람이 계란도 함께 사는가"를 알고 싶을 때 가장 알맞은 기법은 무엇입니까?
어떤 항목들이 함께 일어나는지를 찾는 것이 연관 규칙 학습입니다. 장바구니 분석이라고도 부르며, 3과목의 연관분석이 바로 이 기법입니다.
문제 4. "이 메일은 스팸인가 정상인가"처럼 대상을 정해진 무리 가운데 하나로 가려낼 때 가장 알맞은 기법은 무엇입니까?
대상이 이미 정해진 범주 가운데 어디에 드는지를 가려내는 것이 분류입니다. 회귀는 연속된 값의 크기를, 연관 규칙은 함께 일어나는 항목을 다룹니다.
문제 5. 택배 회사가 수많은 배송 경로 후보를 조금씩 바꿔 가며 더 짧은 경로를 계속 골라 나가는 방식으로 최적의 경로를 찾았습니다. 이 방식에 가장 가까운 기법은 무엇입니까?
여러 후보 해를 만들고 좋은 것을 골라 조금씩 바꿔 가며 진화시키는 방식이 유전 알고리즘입니다. 생물의 자연 선택을 본떠 최적의 해를 찾는 데 씁니다.
문제 6. "광고비를 100만 원 늘리면 매출이 얼마나 늘어나는가"를 알고 싶을 때 가장 알맞은 기법은 무엇입니까?
한 값이 변할 때 다른 값이 얼마나 변하는지를 식으로 나타내는 것이 회귀 분석입니다. 분류는 범주를 가려내고, 연관 규칙은 함께 일어나는 항목을 찾습니다.
문제 7. 한 화장품 회사가 입소문을 가장 넓게 퍼뜨릴 수 있는 영향력 있는 이용자를 찾으려 합니다. 가장 알맞은 기법은 무엇입니까?
누가 누구와 이어져 있고 누가 연결망의 중심에 있는지를 분석하는 것이 소셜 네트워크 분석입니다. 감성 분석은 글의 긍정과 부정을, 회귀는 값 사이의 변화량을 다룹니다.
문제 8. 과거 고객 데이터에서 규칙을 스스로 배워 "이 고객은 다음 달 해지할까"를 예측하는 방식을 넓게 부르는 말은 무엇입니까?
사람이 규칙을 일일이 적지 않고 데이터에서 규칙을 배워 예측하는 것을 기계 학습이라고 부릅니다. 분류나 회귀도 기계 학습의 한 갈래로 쓰입니다.
문제 9. 빅데이터의 위기 요인 세 가지에 해당하지 않는 것은?
마이어쇤베르거와 쿠키어가 짚은 위기 요인은 사생활 침해, 책임 원칙의 훼손, 데이터 오용입니다. 저장 비용은 오히려 크게 내려가 빅데이터 시대를 연 요인이었습니다.
문제 10. 이름을 지운 데이터라도 안심할 수 없다고 말하는 이유로 가장 알맞은 것은?
이름이 없어도 생년월일, 우편번호, 성별 같은 기록을 다른 데이터와 맞춰 보면 특정인을 다시 찾아낼 수 있습니다. 그래서 비식별 처리만으로 사생활 침해가 다 막히지는 않습니다.
묶음 2
문제 1. 따로 보면 문제없던 기록들이 합쳐지면서 한 사람의 생활이 통째로 드러나는 상황은 어떤 위기 요인입니까?
여러 데이터가 섞이면서 원치 않게 개인의 삶이 드러나는 것이 사생활 침해입니다. 데이터가 모을 때의 목적을 넘어 계속 재사용되고 결합되기 때문에 생기는 위험입니다.
문제 2. 한 채용 시스템이 과거에 특정 성별을 덜 뽑았던 기록을 학습해 비슷한 차별을 되풀이했습니다. 이것은 어떤 위기 요인에 가장 가깝습니까?
과거의 차별을 그대로 담은 데이터로 만든 판단을 숫자의 권위를 빌려 믿고 따른 것이니 데이터 오용입니다. 데이터가 늘 옳다고 맹신할 때 생기는 위험이죠.
문제 3. 한 학교가 "문제를 일으킬 가능성이 높다"는 예측만으로 아직 아무 잘못도 하지 않은 학생에게 불이익을 주었습니다. 이것은 어떤 위기 요인입니까?
실제로 한 행동이 아니라 할 것이라는 예측만으로 처벌했으니 책임 원칙의 훼손입니다. 사람은 한 일에 책임을 진다는 원칙을 지키는 것이 대책입니다.
문제 4. 사생활 침해에 대한 통제 방안으로 제시된 "동의에서 책임으로"의 뜻으로 가장 알맞은 것은?
사람들은 동의 버튼을 눌러도 데이터가 어디에 쓰일지 다 알 수 없으므로, 무게를 개인의 동의에서 데이터를 쓰는 쪽의 책임으로 옮기자는 것입니다. 동의를 늘리거나 책임을 개인에게 넘기는 것과는 반대 방향입니다.
문제 5. 책임 원칙의 훼손에 대한 통제 방안으로 가장 알맞은 것은?
책임 원칙의 훼손은 예측만으로 처벌하는 데서 생기므로, 실제로 한 일에만 책임을 묻는 원칙을 고수하는 것이 대책입니다. 예측을 더 정교하게 만든다고 이 원칙의 문제가 풀리지는 않습니다.
문제 6. 데이터 오용에 대한 통제 방안으로 가장 알맞은 것은?
데이터 오용은 결과를 맹신하는 데서 생기므로 알고리즘을 들여다보고 그 판단이 정당한지 따질 수 있게 하는 것이 대책입니다. 내부를 감추면 오히려 오용을 막기 어려워집니다.
문제 7. 알고리즈미스트라는 개념을 제시한 사람들로 옳은 것은?
알고리즈미스트는 마이어쇤베르거와 쿠키어가 빅데이터의 위험을 다루며 상상한 새로운 전문가입니다. 커드는 관계형 모델, 레이니는 3V, 노나카와 다케우치는 SECI 모형으로 알려져 있습니다.
문제 8. 세상의 모든 것이 계속 기록되어 데이터로 옮겨지는 흐름을 가리키는 말은 무엇입니까?
위치, 대화, 심박처럼 예전에는 기록되지 않던 것들까지 데이터로 옮겨지는 흐름을 데이터화라고 부릅니다. 미래의 빅데이터를 그릴 때 데이터 쪽의 방향입니다.
문제 9. 미래의 빅데이터를 데이터, 기술, 사람의 세 방향으로 볼 때 "사람" 쪽의 변화로 가장 알맞은 것은?
데이터 사이언티스트와 알고리즈미스트처럼 데이터를 풀고 알고리즘을 감시하는 사람이 더 필요해집니다. 기술이 발전해도 판단과 감시에 사람의 몫은 오히려 커집니다.
문제 10. 미래의 빅데이터에서 "기술" 쪽의 변화로 가장 알맞은 것은?
기술 쪽에서는 기계 학습과 인공지능이 발전해 더 많은 판단을 맡게 됩니다. 그래서 그 판단을 감시할 알고리즈미스트 같은 사람의 몫도 함께 커집니다.
묶음 3
문제 1. 한 음식 배달 앱이 가게와 손님을 연결하면서 쌓은 주문 데이터를 다시 추천에 씁니다. 이 앱이 더 성장할수록 데이터가 더 쌓이고 연결이 더 좋아지는 이유로 가장 알맞은 것은?
플랫폼은 거래가 많아질수록 데이터가 쌓이고, 쌓인 데이터로 연결이 좋아지면 다시 거래가 늘어나는 순환을 만듭니다. 이 순환이 플랫폼이 한번 커지면 따라잡기 어려운 이유입니다.
문제 2. 다음 가운데 기법과 질문의 짝이 옳지 않은 것은?
스팸인지 정상인지 범주를 가려내는 것은 분류의 질문이고, 회귀 분석은 한 값이 변할 때 다른 값이 얼마나 변하는지를 묻습니다. 나머지 셋은 기법과 질문이 바르게 짝지어졌습니다.
문제 3. 보험사가 고객이 실제로 낸 사고 기록을 바탕으로 보험료를 조정하는 것은 책임 원칙의 관점에서 어떻게 볼 수 있습니까?
이미 일어난 사고라는 실제 행동을 기준으로 삼았으므로 책임 원칙을 지킨 경우입니다. 풀고 시작 문제처럼 아직 일어나지 않은 예측만으로 올렸다면 책임 원칙의 훼손이 됩니다.
문제 4. 한 은행이 신용 점수 알고리즘이 왜 대출을 거절했는지 고객에게 설명하고 이의를 제기할 수 있게 했습니다. 이 조치가 가장 직접적으로 막으려는 위기 요인은 무엇입니까?
알고리즘의 판단 근거를 드러내고 따질 수 있게 했으니, 결과를 맹신하는 데이터 오용을 막으려는 대책입니다. 알고리즘을 들여다볼 수 있게 하는 것이 데이터 오용의 짝이 되는 통제 방안입니다.
문제 5. 약관 동의 버튼만으로 사생활 보호가 충분하지 않다고 보는 이유로 가장 알맞은 것은?
데이터는 처음 목적과 다른 곳에 다시 쓰이고 섞이므로, 동의하는 순간에는 앞으로의 쓰임을 다 알 수 없습니다. 그래서 동의에만 기대지 말고 쓰는 쪽의 책임을 강조하는 것입니다.
문제 6. 빅데이터 시대에 "데이터가 말하는 대로 따르면 된다"는 태도가 위험한 이유로 가장 알맞은 것은?
데이터가 늘 틀린 것은 아니지만, 편향되거나 잘못 모은 데이터를 맹신하면 숫자의 권위 때문에 틀린 결정을 의심하지 않게 됩니다. 이것이 데이터 오용의 위험입니다.
문제 7. 유전 알고리즘이 문제를 푸는 방식으로 가장 알맞은 것은?
유전 알고리즘은 생물이 자연 선택으로 진화하듯 후보 해를 골라내고 변형시키며 더 좋은 해를 찾아 나갑니다. 배송 경로나 일정 짜기처럼 경우의 수가 많은 문제에 씁니다.
문제 8. 한 회사가 고객 데이터를 모으면서 "앞으로 어떤 분석에 쓸지 모두 적어 동의받겠다"고 했습니다. 이 방식의 한계로 가장 알맞은 것은?
데이터의 가치는 다시 쓰고 섞으면서 새로 생기므로, 모으는 시점에 앞으로의 모든 쓰임을 다 적어 둘 수 없습니다. 이 한계 때문에 동의보다 쓰는 쪽의 책임이 강조됩니다.
문제 9. 비즈니스 모델과 위기 요인에 관한 진술로 옳지 않은 것은?
이름을 지운 데이터도 다른 데이터와 맞춰 보면 누구인지 다시 알아낼 수 있어 사생활이 완전히 보호되지는 않습니다. 나머지 셋은 이 강에서 다룬 내용을 그대로 담고 있습니다.
문제 10. 데이터화(datafication)가 사생활 침해의 위험을 키우는 이유로 가장 알맞은 것은?
위치, 대화, 심박까지 데이터가 되면 서로 합쳐져 한 사람의 생활을 드러낼 재료가 그만큼 많아집니다. 데이터화가 편리를 늘리는 만큼 사생활의 위험도 함께 키우는 셈입니다.