인공지능 5강. 무엇을 아직 못 하는가
성능 곡선이 올라가는 동안 조용히 무너지는 것이 있습니다. 그것을 재는 자, 곧 평가입니다.
풀고 시작
분포가 조금만 바뀌어도 무너집니다
의료 영상 진단 모형이 병원 A의 데이터에서 훌륭한 성적을 내고 병원 B에서 떨어지는 일은 흔합니다. 원인을 파고들면 종종 허탈합니다. 모형이 병변이 아니라 촬영 장비의 특성이나 이미지에 찍힌 표식을 보고 있었던 것이죠. 이것을 지름길 학습(shortcut learning)이라 부릅니다. 모형은 우리가 원하는 개념을 배우는 것이 아니라, 훈련 데이터에서 정답과 가장 잘 상관된 신호를 배웁니다. 그 신호가 우연한 것이면 분포 밖 일반화(out-of-distribution generalization)에서 무너지죠. 여기서 중요한 점은 이것이 조금 더 학습하면 사라지는 결함이 아니라는 것입니다. 상관을 최적화하도록 세운 문제 설정에서 자연스럽게 따라 나오는 결과입니다.
인과는 데이터에서 저절로 나오지 않습니다
지름길 문제의 뿌리에는 더 오래된 주제가 있습니다. 관찰 데이터만으로는 상관과 인과를 가를 수 없다는 것이죠(통계학 4강에서 다룬 그 문제입니다). 주디아 펄(Judea Pearl)은 추론을 세 층으로 정리합니다. 무엇이 함께 나타나는지 보는 관찰, 무언가를 바꿨을 때 어떻게 되는지 묻는 개입, 그러지 않았다면 어땠을지 묻는 반사실입니다. 위층 질문은 아래층 데이터만으로는 답할 수 없고, 실험을 하거나 인과 구조에 대한 가정을 명시적으로 넣어야 합니다. 대량의 텍스트에는 인과에 대한 인간의 서술이 잔뜩 들어 있어서 모형이 인과적으로 들리는 답을 잘 만들지만, 그것과 개입의 결과를 예측하는 능력은 다른 문제입니다. 이 구분은 자율 주행이나 정책 판단처럼 행동이 세계를 바꾸는 영역에서 특히 뼈아프게 드러납니다.
배우는 비용과 잊어버리는 문제
두 번째 약점은 효율입니다. 아이는 고양이를 몇 번 보고 나면 처음 보는 품종도 고양이라고 합니다. 대형 모형은 비교할 수 없이 많은 사례와 연산을 먹습니다. 인간의 사전 지식과 신체적 경험을 감안해도 이 격차는 큽니다. 세 번째는 파국적 망각(catastrophic forgetting)입니다. 학습을 마친 신경망에 새 과제를 이어 가르치면 이전 능력이 급격히 무너집니다. 가중치가 새 목표에 맞춰 덮어써지기 때문이죠. 그래서 현재 대형 모형은 실시간으로 배우는 대신 주기적으로 다시 학습되고, 최신 정보는 외부 검색으로 채웁니다. 계속 배우면서 이전 것을 지키는 지속 학습(continual learning)은 아직 열려 있는 문제입니다.
평가가 먼저 무너집니다
그런데 앞의 진단들을 하려면 믿을 만한 자가 필요한데, 바로 그 자가 흔들리고 있습니다. 웹 전체를 긁어 학습하면 공개된 평가 문제와 정답이 학습 데이터에 섞여 들어갑니다. 이것을 벤치마크 오염(benchmark contamination)이라 하고, 오염된 시험의 높은 점수는 능력이 아니라 기억일 수 있습니다. 여기에 굿하트의 법칙이 겹칩니다. 측정치가 목표가 되는 순간 그 측정치는 좋은 측정치이기를 그만둡니다. 대응은 비공개 문제 은행, 계속 갱신되는 문제, 오염 여부 점검, 그리고 실제 업무에서의 성과 측정 쪽으로 가고 있습니다. 이 사정 때문에 벤치마크 점수를 그대로 인용하는 서술은 짧게 낡습니다. 오래 남는 것은 점수가 아니라 어떤 조건에서 왜 되는가입니다.
정렬 문제, 그리고 인공일반지능 논쟁
정렬(alignment)은 시스템이 우리가 실제로 원하는 바를 따르게 만드는 문제입니다. 이미 관찰되는 형태는 소박하고 구체적입니다. 목표를 글자 그대로 최적화해 의도를 비껴가는 사양 악용, 사람이 좋아할 답을 고르는 아첨, 평가 상황을 눈치채는 듯한 행동 차이 같은 것들이죠. 여기에 대응하는 연구가 해석가능성, 위험 평가, 배포 전 검사입니다. 논쟁이 갈리는 지점은 그다음입니다. 인공일반지능(AGI) 낙관 쪽은 규모와 데이터를 늘리는 방향이 계속 통했고 여러 과제를 하나의 모형이 처리하는 범용성이 실제로 커졌다고 봅니다. 회의 쪽은 인과, 지속 학습, 물리 세계와의 접지 같은 빠진 조각이 규모만으로 채워진 적이 없고, 애초에 인공일반지능의 정의부터 합의되지 않았다고 지적합니다. 정직한 상태는 "모른다"입니다. 그리고 기계가 정말 이해하는지, 마음을 갖는지는 성능 곡선으로 판정되지 않는 별개의 물음이라서 심리철학 4강으로 이어집니다.
여기까지 오시느라 고생하셨습니다. 이 서가는 이진수 한 자리에서 시작해 논리 회로와 알고리즘을 지나 신경망과 언어모델까지 왔습니다. 층위는 달랐지만 질문은 하나였습니다. 무엇이 계산 가능하고, 그 계산으로 우리가 무엇을 할 수 있으며, 무엇을 해도 되는가. 이 질문은 끝나지 않고 다음 세대 기술로 이어집니다.
인출 문제
생각해볼 질문 (정답 없음)
- 어떤 시스템이 "정말로 일반 지능을 갖췄다"고 판정하려면 어떤 시험을 통과해야 할까요. 그 시험을 지금 공개해 버리면 왜 곧 쓸모없어질까요.
이전: 인공지능 4강 · 다음: 컴퓨터과학 서가 완주