인공지능 3강. 다음 단어를 맞히는 일이 어떻게
목적함수는 다음 조각 하나를 맞히는 것뿐입니다. 그 단순한 과제를 아주 크게 밀어붙였을 때 무엇이 따라 나오는지가 지금의 논쟁입니다.
풀고 시작
목적함수는 놀랄 만큼 단순합니다
언어모델은 글자나 단어가 아니라 토큰(token)이라는 조각 단위로 텍스트를 다룹니다. 자주 쓰이는 덩어리는 통째로, 드문 표현은 여러 조각으로 쪼개는 방식이죠. 학습은 이렇게 진행됩니다. 방대한 텍스트에서 앞부분을 주고 다음 토큰이 무엇일지 확률 분포로 예측하게 한 뒤, 실제 정답과의 차이를 손실로 삼아 가중치를 고칩니다. 목표는 그것 하나입니다. 그런데 이 과제를 잘하려면 문법, 사실 관계, 문체, 코드의 문법, 대화의 흐름까지 통계적 규칙성으로 흡수해야 합니다. 다음 조각을 맞히는 시험이 사실상 세계에 대한 방대한 압축 시험이 되는 셈이죠. 이 점은 대체로 합의된 관찰이고, 논쟁은 그 압축을 무엇이라 불러야 하는지에서 시작됩니다. 토큰이라는 단위는 눈에 안 보이는 곳에서 성능을 좌우하기도 합니다. 복잡한 추론 문제는 곧잘 풀면서 특정 단어의 글자 수를 세는 사소한 일에서 틀리는 현상이 그 예죠. 모형에게 그 단어는 글자들의 나열이 아니라 이미 뭉쳐진 조각 하나이기 때문입니다.
주의 기제: 어디를 볼지 정합니다
2017년 트랜스포머(Transformer) 구조가 나오면서 판이 바뀝니다. 핵심은 자기 주의(self-attention)입니다. 각 토큰은 세 벌의 벡터를 만듭니다. 무엇을 찾는지 나타내는 질의, 자신이 무엇인지 알리는 키, 실제로 전달할 내용인 값이죠. 한 토큰의 질의를 다른 토큰들의 키와 맞춰 보고 그 유사도를 가중치로 삼아, 값들을 섞어 자기 표현을 갱신합니다. "그 사람은 은행에 갔다"에서 은행의 의미가 앞뒤 단어에 따라 조정되는 일이 이 계산으로 일어납니다. 이전의 순환 신경망은 문장을 순서대로 훑어야 해서 병렬화가 어려웠는데, 주의 기제는 모든 위치를 동시에 계산할 수 있습니다. 이 병렬성이 대규모 학습을 현실적으로 만든 결정적 조건이었습니다. 대가도 분명합니다. 모든 토큰 쌍을 견주다 보니 계산량이 문맥 길이의 제곱에 비례해 늘어나고, 그래서 긴 문서를 다루는 효율적 변형을 찾는 연구가 지금도 이어집니다.
커지자 벌어진 일, 그리고 해석의 논쟁
규모를 키우면 손실이 꽤 예측 가능하게 줄어든다는 관찰이 여러 연구에서 보고되었습니다. 매개변수, 데이터, 연산을 함께 늘려야 한다는 점도 정리되었죠. 논쟁은 다른 데 있습니다. 특정 크기를 넘자 갑자기 새 능력이 나타난다는 창발(emergence) 주장에 대해, 그 급격함이 성능을 정답 여부로만 재는 평가 지표 때문에 생긴 착시일 수 있다는 반론이 제기되었습니다. 부분 점수를 주는 지표로 다시 재면 곡선이 매끄러워지는 사례가 보고되었죠. 어느 쪽이 맞는지는 아직 정리되지 않았고, 그래서 "갑자기 지능이 생겼다" 같은 서술은 삼가는 편이 정확합니다.
사후 학습: 예측기를 도우미로 다듬기
사전 학습만 끝낸 모델은 질문에 답하기보다 그럴듯한 이어쓰기를 합니다. 그래서 두 단계가 더 붙습니다. 사람이 쓴 지시와 모범 답변으로 미세 조정하는 지시 조율(instruction tuning), 그리고 여러 답변에 대한 사람의 선호를 학습한 보상 모델로 정책을 조정하는 인간 피드백 강화학습(RLHF)입니다. 효과는 분명합니다. 형식이 잡히고 유해한 출력이 줄죠. 다만 착각하지 말아야 할 것이 있습니다. 이 단계는 주로 무엇을 어떻게 말할지를 다듬는 일이고, 없던 지식을 채워 넣지는 않습니다. 오히려 사람이 좋아하는 답에 상을 주다 보면 확신에 차서 말하거나 사용자 의견에 맞춰 주는 아첨 경향이 강화될 수 있다는 문제가 보고되어 왔습니다.
환각, 그리고 "이해한다"는 말
환각(hallucination), 즉 사실이 아닌 내용을 자연스럽게 만들어 내는 현상은 버그라기보다 구조에서 따라 나옵니다. 모델은 참인 문장을 조회하는 것이 아니라 그럴듯한 이어쓰기를 확률적으로 고르며, 학습 목표와 평가 방식 모두 "모르겠습니다"보다 그럴듯한 답을 우대하는 경향이 있습니다. 외부 문서를 붙여 근거를 대게 하면 줄어들지만 사라지지는 않습니다. 그러면 이 시스템이 "이해한다"고 말해도 될까요. 조심할 이유는 그 단어가 인간의 의도와 자각까지 은근히 끌고 오기 때문입니다. 동시에 내부를 뜯어 보면 개념에 대응하는 구조화된 표현이 발견되기도 해서, 단순한 자동완성이라는 일축도 정확하지 않습니다. 확실한 것은 행동이고, 불확실한 것은 그 행동을 무엇이라 부를지입니다. 이 질문은 심리철학 4강과 정면으로 맞닿아 있습니다.