데이터의 시대 4강. 데이터에는 사람이 들어 있습니다

이름을 지웠다고 익명이 되는 것이 아닙니다. 남은 항목 몇 개의 조합이 이미 당신을 가리키고 있으니까요.

풀고 시작

이름만 지우면 익명일까요

2000년대 초 라타냐 스위니(Latanya Sweeney)는 공개된 익명 의료 데이터에서 매사추세츠 주지사의 진료 기록을 찾아내 보였습니다. 방법은 단순했습니다. 데이터에 남아 있던 우편번호, 생년월일, 성별을 공개 선거인 명부와 맞춰 본 것입니다. 이 조합만으로 좁혀지는 사람은 생각보다 적습니다.

비슷한 일이 반복됐습니다. 넷플릭스가 추천 알고리즘 대회를 위해 공개한 익명 평점 데이터에서도 공개 영화 사이트의 평점 기록과 맞춰 일부 이용자가 다시 식별됐습니다. 검색 기록을 연구용으로 공개했다가 검색어 자체가 신원을 드러내 사건이 된 사례도 있습니다. 여기서 배울 것은 익명화가 켜고 끄는 스위치가 아니라는 점입니다. 식별자를 지웠는지가 아니라, 남은 항목들이 어떤 외부 데이터와 결합될 수 있는지가 관건입니다. 그리고 앞으로 어떤 데이터가 공개될지는 오늘 알 수 없습니다.

개인을 지우고 경향만 남기기

그렇다면 통계는 얻으면서 개인은 보호할 방법이 있을까요. 차등 프라이버시(differential privacy)의 아이디어가 여기서 나옵니다. 목표를 이렇게 바꿉니다. 어떤 한 사람의 데이터가 들어 있든 빠져 있든, 분석 결과가 나올 확률이 거의 달라지지 않게 만듭니다. 그러면 결과를 본 사람은 그 개인이 데이터에 포함됐는지조차 확신할 수 없습니다.

고전적 직관은 무작위 응답입니다. 민감한 질문에 답하기 전 동전을 던지게 하고, 앞면이면 진실을, 뒷면이면 다시 동전을 던져 나온 대로 답하게 합니다. 개인은 언제나 "동전 때문이었다"고 말할 수 있어 부인이 가능하지만, 집계 비율은 잡음의 크기를 알고 있으므로 되돌려 계산할 수 있습니다. 실제 구현은 집계값에 정해진 분포의 잡음을 더하는 방식이고, 보호 수준은 예산처럼 관리합니다. 대가는 분명합니다. 보호를 강하게 할수록 결과가 부정확해지고, 같은 데이터에 질의를 많이 던질수록 보호가 약해집니다. 정직하게 말하면 만능이 아니고, 보호 수준을 어느 정도로 잡아야 하는지는 여전히 논쟁거리입니다.

편향은 어디서 들어오나

모형이 특정 집단에 불리한 결과를 낼 때 원인은 대개 코드가 아니라 데이터에 있습니다. 들어오는 경로가 여러 갈래입니다.

• 역사적 편향이 있습니다. 과거의 결정을 정답 라벨로 쓰면 과거의 차별이 그대로 학습됩니다. 지난 합격자를 정답으로 삼은 채용 모형은 과거 채용 관행을 재현합니다.
• 표본 편향이 있습니다. 특정 집단의 데이터가 적으면 그 집단에서 성능이 떨어집니다. 얼굴 분석 시스템의 정확도가 집단별로 크게 갈린다는 연구들이 이 문제를 널리 알렸습니다.
• 대리 변수 문제가 있습니다. 민감 정보를 입력에서 지워도 거주지, 출신 학교, 구매 이력이 그 정보와 강하게 얽혀 있으면 모형은 사실상 같은 변수를 씁니다.
• 측정 편향이 있습니다. 재고 싶은 것 대신 재기 쉬운 것을 라벨로 쓰면 다른 것이 섞입니다. 범죄를 재려고 신고 건수를 쓰면 경찰 활동이 밀집된 지역이 더 위험해 보이고, 그 예측이 다시 순찰을 부르는 되먹임 고리가 생깁니다.

공정하게 만들라는 요구가 충돌할 때

이 강에서 가장 까다로운 지점입니다. 재범 위험을 점수로 매기는 도구를 두고 벌어진 논쟁이 교과서적 사례입니다. 한쪽은 실제로 재범하지 않은 사람을 위험하다고 잘못 분류하는 비율이 집단 간에 다르다고 지적했고, 개발사 쪽은 같은 점수를 받은 사람의 실제 재범 비율은 집단과 무관하게 같다고 반박했습니다. 놀랍게도 양쪽 주장은 둘 다 데이터에 맞았습니다.

이유는 수학에 있습니다. 두 집단의 기저율(실제 발생 비율)이 다르면, 점수의 의미가 집단과 무관하게 같도록 맞추는 조건과 오류율을 집단 간에 같게 맞추는 조건을 동시에 만족시킬 수 없다는 것이 증명돼 있습니다. 완벽한 예측 같은 자명한 경우를 빼면 예외가 없습니다. 그러니 "공정한 알고리즘을 만들라"는 요구는 그 자체로는 명령이 되지 못합니다. 어떤 공정성을 택하고 무엇을 포기할지 먼저 정해야 하며, 그 선택은 기술이 아니라 사회가 내리는 결정입니다.

설명, 책임, 그리고 동의

대출이 거절됐을 때 이유를 물을 권리는 자연스러워 보입니다. 그런데 복잡한 모형에서 "이유"를 뽑는 기법들은 대체로 사후 근사입니다. 어떤 입력이 결과에 크게 기여했는지 추정해 보여 줄 뿐, 모형 내부에서 실제로 벌어진 계산을 그대로 옮긴 것이 아닙니다. 그래서 그럴듯한 설명이 결정을 정당화하는 도구로 쓰일 위험이 있습니다. 설명 가능성은 필요하지만 그것만으로 책임이 해결되지는 않습니다. 결정을 뒤집을 수 있는 이의 제기 경로와 최종 책임을 지는 주체가 함께 있어야 합니다. 유럽의 개인정보 규정이 전적으로 자동화된 결정에 사람의 개입을 요구하는 조항을 둔 것도 같은 문제의식입니다.

동의도 다시 볼 필요가 있습니다. 우리는 매일 약관에 동의하지만 읽지 않고, 읽어도 그 데이터가 5년 뒤 어떤 모형의 학습에 쓰일지는 알 수 없습니다. 그래서 개별 동의보다 맥락을 기준으로 보자는 관점이 힘을 얻습니다. 병원에 준 정보가 보험료 산정에 흘러가면, 동의서에 서명했더라도 그 정보가 원래 흐르던 맥락이 깨진 것입니다. 여기에 애초에 덜 모으고 목적이 끝나면 지우는 원칙이 더해집니다. 3강에서 본 것처럼 데이터가 모형의 성능을 만든다면, 무엇을 모으지 않기로 할지가 곧 어떤 시스템을 만들지에 대한 결정입니다. 다음 과목에서는 이 데이터 위에 세워진 인공지능이 어디서 왔는지 살펴봅니다.

인출 문제

생각해볼 질문 (정답 없음)

• 어떤 공정성 기준을 택할지 결정해야 한다면, 그 결정은 누가 어떤 절차로 내려야 정당하다고 인정받을 수 있을까요?

이전: 데이터의 시대 3강 · 다음: 인공지능 1강