성격과 개인차 4강. 좋은 검사와 나쁜 검사

고장 난 저울도 매번 똑같은 숫자를 보여 줍니다. 일관성은 정확성의 증거가 아닙니다.

풀고 시작

같은 사람을 두 번 재면 같은 값이 나오는가

검사의 첫 관문은 신뢰도, 즉 측정의 일관성입니다. 확인하는 방법이 몇 갈래 있습니다. 시간을 두고 다시 재는 재검사 신뢰도는 안정적이어야 할 특성에 씁니다. 같은 구성 개념을 재는 문항들이 서로 맞물리는 정도를 보는 내적 일관성은 크론바흐 알파로 흔히 보고합니다. 관찰자가 채점하는 검사라면 채점자끼리 얼마나 일치하는지를 봐야 하죠.

여기서 흔한 오해 하나를 짚겠습니다. 알파가 높다고 문항들이 하나의 개념을 잰다는 뜻은 아닙니다. 알파는 문항 수가 많아지기만 해도 올라가기 때문에, 서로 다른 것을 재는 문항을 잔뜩 넣어도 값이 커집니다. 지난 강에서 본 MBTI의 문제가 재검사 신뢰도였다는 점도 다시 떠올려 보세요. 몇 주 만에 결과가 바뀌는 도구로는 사람에 관한 어떤 주장도 지탱할 수 없습니다.

재려던 것을 재고 있는가

두 번째 관문이 타당도입니다. 종류를 나눠 보면 무엇을 확인해야 하는지가 분명해집니다.

가장 어려운 것이 구성 타당도입니다. 불안 같은 개념은 자로 직접 잴 수 없으니, 다른 불안 측정치와는 높게 상관하고(수렴) 외향성 측정치와는 낮게 상관해야 한다는(변별) 예측의 그물을 쳐 놓고 하나씩 확인해 갑니다. 크론바흐와 밀은 이를 두고, 검사의 타당화는 한 번의 계산이 아니라 이론과 자료를 함께 검증해 가는 긴 과정이라고 정리했습니다.

표준화와 규준, 그리고 낡아 버리는 자

점수 자체는 아무 의미가 없습니다. 원점수 34점은 그것만으로는 높은지 낮은지 알 수 없죠. 그래서 검사는 실시 절차와 채점 방식을 고정하는 표준화를 거치고, 비교 기준이 될 규준 집단의 분포를 만들어 둡니다. 백분위나 표준점수는 모두 그 분포 위에서 내 위치를 말하는 방식입니다.

여기에 두 가지 함정이 있습니다. 하나는 규준이 늙는다는 것입니다. 지난 강의 플린 효과가 정확히 이 문제였죠. 20년 전 규준을 그대로 쓰면 오늘의 평균이 평균 이상으로 보입니다. 다른 하나는 규준 집단이 나와 다를 때입니다. 미국 대학생 표본으로 만든 규준에 한국 직장인을 대입하면, 문항 번역이 아무리 매끄러워도 위치 해석은 흔들립니다.

자기보고의 구멍과 투사 검사의 논쟁

자기보고는 값싸고 빠르지만 구조적 약점이 있습니다. 대표적인 것이 사회적 바람직성입니다. 채용 장면에서 "나는 마감을 지킵니다"라는 문항에 정직하게 답할 사람이 얼마나 될까요. 여기에 무조건 동의하는 묵종 반응, 극단만 고르거나 중간만 고르는 습관, 그리고 자기 자신에 대한 통찰의 한계가 겹칩니다. 문화 비교에서는 참조군 효과도 문제입니다. 사람들은 자기 사회의 평균을 기준으로 자신을 평가하기 때문에, 성실성 평균이 낮게 나온 나라가 실제로 덜 성실한 것인지 기준이 엄격한 것인지 구분하기 어렵습니다.

이 구멍을 메우겠다며 등장한 것이 로르샤흐 잉크 반점 같은 투사 검사였습니다. 모호한 자극에는 방어할 여지가 없다는 발상이었죠. 이후 엑스너의 종합체계가 채점을 표준화하면서 신뢰도는 크게 올라갔습니다. 그러나 2013년에 발표된 대규모 메타분석은 냉정한 결론을 내놨습니다. 사고 과정의 왜곡을 반영하는 일부 지표는 근거가 있었지만, 성격이나 특정 증상을 짚어 낸다고 오래 주장돼 온 다수의 지표는 지지되지 않았습니다. 집·나무·사람 그림 검사나 필적학처럼 널리 쓰이면서도 타당도 근거가 사실상 없는 도구도 있습니다.

검사를 쓰는 사람의 윤리

검사는 사람의 삶을 바꾸는 결정에 쓰입니다. 그래서 규칙이 있습니다. 검사자는 그 검사를 해석할 훈련을 받은 사람이어야 하고, 피검자는 검사의 목적과 결과 사용처를 미리 알고 동의해야 하며, 결과는 이해할 수 있는 말로 설명받아야 합니다. 채용에서 성격 검사를 쓰려면 그 검사가 해당 직무의 수행을 실제로 예측한다는 증거가 있어야 합니다. 무엇보다, 하나의 검사 점수만으로 채용이나 배치 같은 중대한 결정을 내리지 않는 것이 원칙입니다. 상담 장면에서도 검사는 대화를 여는 재료이지 진단서가 아닙니다. 이 강의 역시 마찬가지여서, 어떤 검사 이야기도 전문가의 평가나 치료를 대신하지 않습니다.

마지막으로 온라인 성격 테스트를 만났을 때 던질 질문을 정리해 두겠습니다. 규준 집단이 누구인지 밝히고 있습니까. 신뢰도 계수와 타당도 근거를 어딘가에 공개하고 있습니까. 결과를 유형 이름 대신 오차 범위가 붙은 점수로 주고 있습니까. 설명이 누구에게나 기분 좋게 들리도록 쓰여 있지는 않습니까. 마지막 질문에 걸린다면 그것은 검사가 아니라 지난 강에서 본 바넘 효과의 상업적 응용일 가능성이 높습니다. 다음 과목에서는 개인의 특성이 아니라 상황의 힘을 다룹니다. 평범한 사람이 어디까지 복종하는지에서 시작하죠.

인출 문제

생각해볼 질문 (정답 없음)

타당도 근거가 부족한 검사라도 사람들이 자기 이해의 계기로 삼는다면 그 쓸모를 인정해도 될까요? 그 선을 어디에 그어야 할까요?

이전: 성격과 개인차 3강 · 다음: 사회심리학 1강