데이터 탐색 2강. 이상값 처리

남극 오존 구멍의 값은 너무 낮아서 오류로 걸러졌습니다. 이상값을 지우는 손이 발견을 지울 수도 있습니다.

풀고 시작

문제 1. 사분위수 범위(IQR)를 이용할 때 이상값으로 판정하는 일반적인 기준은?

상자그림의 수염이 뻗는 한계가 바로 이 1.5배 기준이고, 그 바깥의 점을 이상값으로 찍습니다. 사분위수 자체를 경계로 삼으면 데이터의 절반이 이상값이 되므로 말이 되지 않습니다.

걸러 낸 값이 답이었던 날

1985년, 영국 남극조사단이 남극 상공 오존이 급감했다는 관측을 발표합니다. 학계가 놀란 이유 중 하나는 미국 항공우주국의 위성이 같은 하늘을 몇 해 동안 재고 있었다는 사실이었습니다. 위성 자료 처리 절차에는 지나치게 낮은 값을 의심스러운 값으로 걸러 두는 규칙이 있었고, 남극의 오존 값은 당시 상식으로는 있을 수 없는 수준이었죠. 영국 팀의 발표 뒤 원자료를 다시 뒤지고 나서야 위성도 그 구멍을 보고 있었다는 것이 확인됐습니다.

여기서 이 강 전체의 교훈이 나옵니다. 이상값은 오류의 동의어가 아닙니다. 자판을 잘못 눌러 생긴 값도 이상값이고, 세상이 실제로 그렇게 극단적이어서 생긴 값도 이상값입니다. 앞은 지워야 하고 뒤는 지우면 안 됩니다. 그래서 이상값 처리는 통계 기법을 고르는 문제이기 전에 원인을 묻는 문제입니다.

어떻게 찾나

방법	판정 기준	성격
ESD (표준편차)	평균에서 표준편차 3배를 벗어남	정규분포를 가정, 계산이 쉬움
사분위수 (IQR)	Q1에서 1.5 IQR 아래, Q3에서 1.5 IQR 위	분포 가정이 없고 극단값에 덜 흔들림
상자그림	수염 밖의 점	IQR 기준을 그림으로 본 것
마할라노비스 거리	변수들의 상관을 반영한 거리	여러 변수를 동시에 볼 때
LOF, 아이솔레이션 포레스트	이웃 밀도, 고립되는 빠르기	다차원 데이터에 적합

두 기본 방법의 차이를 알아 두시면 좋습니다. 표준편차 기준은 이상값 자신에게 휘둘립니다. 극단적으로 큰 값 하나가 평균과 표준편차를 함께 끌어올리므로, 기준선이 그 값 쪽으로 밀려 정작 그 값을 놓칠 수 있죠. 사분위수는 순위로 계산되기 때문에 이 문제에서 자유롭습니다. 그래서 분포가 치우쳐 있거나 극단값이 많을 때는 IQR 쪽이 안전합니다.

계산은 손으로도 됩니다. Q1이 20, Q3이 40이면 IQR은 20이고, 1.5배인 30을 각각 빼고 더해서 경계는 마이너스 10과 70이 됩니다. 이 범위 밖의 값만 이상값이죠.

찾은 다음에 무엇을 하나

처리 방법은 넷입니다. 삭제는 명백한 입력 오류일 때만 정당합니다. 대체는 경곗값이나 대푯값으로 바꾸는 것이고, 상한과 하한을 넘는 값을 경곗값으로 눌러 앉히는 방식을 윈저화라고 부릅니다. 변환은 로그를 취해 오른쪽으로 길게 늘어진 분포를 압축하는 방법으로, 소득이나 매출처럼 원래 꼬리가 긴 데이터에 잘 맞습니다. 분류는 이상값을 따로 떼어 별도로 분석하는 것입니다.

마지막 방법이 왜 있는지가 중요합니다. 어떤 분야에서는 이상값이 오히려 목표입니다. 카드 사기 탐지, 설비 고장 예측, 침입 탐지가 그렇죠. 여기서 이상값을 지우는 것은 잡음을 없애는 것이 아니라 정답을 없애는 것입니다. 처리 방법을 고르기 전에 "이 값이 내 분석에서 방해물인가 신호인가"를 먼저 물으셔야 하는 이유입니다.

인출 문제

문제 1. 어떤 변수의 Q1이 30, Q3이 50입니다. IQR 기준으로 이상값 판정의 상한은?

IQR은 50에서 30을 뺀 20이고 그 1.5배는 30입니다. 상한은 Q3인 50에 30을 더한 80이 됩니다. 같은 방식으로 하한은 30에서 30을 뺀 0입니다.

문제 2. 평균과 표준편차를 이용한 이상값 판정이 사분위수 기준보다 불리할 수 있는 이유는?

아주 큰 값 하나가 평균과 표준편차를 함께 밀어 올리면 기준선도 그쪽으로 이동해 정작 그 값이 범위 안에 들어올 수 있습니다. 사분위수는 순위 기반이라 이런 끌림에 강합니다.

문제 3. 이상값 처리 방식으로 적절하지 않은 것은?

이상값에는 오류로 생긴 것과 실제 현상인 것이 섞여 있습니다. 원인을 확인하지 않고 일괄 제거하면 사기 거래나 설비 이상처럼 정작 찾아야 할 신호까지 지워집니다.

문제 4. 여러 변수를 동시에 고려해 이상 여부를 판정하려 할 때 적합한 방법은?

각 변수에서는 평범한데 조합으로는 있을 수 없는 경우가 있습니다. 키 150에 몸무게 100은 각각 흔한 값이지만 함께 나타나면 드뭅니다. 변수 간 상관을 반영하는 거리 기반 기법이나 밀도 기반 기법이 이런 경우를 잡아냅니다.

더 풀기

출제기준의 세세항목을 따라 이 강의 범위에서 새로 낸 문제입니다. 모의고사도 여기에서 뽑습니다.

묶음 1

문제 1. 사분위수 기준으로 이상값을 판정할 때 흔히 쓰는 경계는?

1.5배가 관례적 기준입니다. 3배를 쓰면 극단적 이상값만 걸러내는 더 보수적인 기준이 됩니다.

문제 2. IQR의 정의로 옳은 것은?

가운데 50퍼센트가 흩어진 폭이 IQR입니다. 범위와 달리 극단값에 흔들리지 않습니다.

문제 3. ESD 방식이 전제하는 가정으로 옳은 것은?

평균과 표준편차로 경계를 잡으므로 정규성을 가정합니다. 분포가 크게 치우치면 판정이 왜곡됩니다.

문제 4. 상자그림에서 수염의 끝이 나타내는 것으로 가장 알맞은 것은?

수염은 경계 안쪽의 마지막 관측값까지 뻗습니다. 그 밖의 점이 이상값 후보로 찍힙니다.

문제 5. 여러 변수의 상관을 고려해 중심에서 얼마나 떨어져 있는지를 재는 거리는?

공분산을 반영해 축의 척도와 상관을 보정하는 것이 마할라노비스 거리입니다. 다변량 이상값 탐지에 쓰입니다.

문제 6. LOF가 이상값을 판정하는 기준으로 가장 알맞은 것은?

국소 밀도를 견주기 때문에 밀집 영역과 희박 영역이 섞인 데이터에서도 잘 작동합니다.

문제 7. 아이솔레이션 포레스트의 아이디어로 옳은 것은?

이상값은 적은 분할로도 쉽게 고립됩니다. 거리나 밀도를 직접 계산하지 않아 고차원과 대용량에서 유리합니다.

문제 8. 이상값을 무조건 제거하면 안 되는 이유로 가장 알맞은 것은?

이상 탐지 과제에서는 이상값이 곧 찾으려는 대상입니다. 원인을 확인하기 전에 지우면 답을 버리는 셈입니다.

문제 9. 윈저화에 대한 설명으로 가장 알맞은 것은?

상하위 일정 분위수 값으로 잘라 내는 방식입니다. 데이터 수를 유지하면서 극단의 영향을 줄입니다.

문제 10. 이상값이 회귀분석에 미치는 영향으로 가장 알맞은 것은?

독립변수 축에서 멀리 떨어진 관측치는 영향력이 커서 직선을 통째로 기울입니다. 쿡의 거리로 영향력을 점검합니다.

문제 11. 이상값 처리 방법으로 보기 어려운 것은?

학습률은 모델 학습의 설정입니다. 이상값은 삭제, 대체, 변환, 별도 분리 분석으로 다룹니다.

문제 12. 로그 변환이 이상값 대응에 도움이 되는 이유로 가장 알맞은 것은?

큰 값일수록 더 많이 눌리므로 치우친 분포가 대칭에 가까워집니다. 다만 0 이하 값에는 그대로 쓸 수 없습니다.

묶음 2

문제 1. 이상값과 노이즈의 차이로 가장 알맞은 것은?

하나는 개별 관측의 이탈, 다른 하나는 전반적 잡음입니다. 대응 방법도 서로 다릅니다.

문제 2. 단변량으로는 정상 범위인데 두 변수를 함께 보면 이상한 관측치를 찾으려면?

키 190센티미터와 몸무게 40킬로그램은 각각은 가능해도 함께 있으면 이상합니다. 이런 경우가 다변량 이상값입니다.

문제 3. 이상값 탐지를 지도학습으로 다루기 어려운 이유로 가장 알맞은 것은?

정상 사례에 견주어 이상 사례가 극히 적으므로 비지도 또는 준지도 방식이 자주 쓰입니다.

문제 4. 이상값 판정 기준을 엄격하게 할 때 나타나는 결과로 옳은 것은?

기준을 넓히면 놓침이 늘고 좁히면 오탐이 늡니다. 둘 사이의 맞바꿈을 목적에 맞게 정해야 합니다.

문제 5. 시계열에서 이상값을 판정할 때 단순 사분위수 기준이 부적절할 수 있는 이유는?

추세와 계절 성분을 제거한 잔차에 대해 판정해야 정상 변동을 이상으로 오해하지 않습니다.

문제 6. 이상값 처리에서 별도 분리 분석을 택하는 경우로 가장 알맞은 것은?

초우량 고객처럼 성격이 다른 집단이라면 섞어 평균 내기보다 따로 모형을 세우는 편이 낫습니다.

문제 7. 이상값 판정 후 가장 먼저 확인해야 할 것은?

원인 확인이 먼저입니다. 오류라면 정정, 실제라면 살리거나 따로 다루는 판단으로 갈립니다.

문제 8. 데이터 입력 오류로 인한 이상값의 예로 가장 알맞은 것은?

물리적으로 불가능한 값은 입력 오류입니다. 나머지는 설명 가능한 실제 변동입니다.

문제 9. 극단값이 평균과 중앙값에 미치는 영향의 차이로 옳은 것은?

평균은 모든 값을 더해 나누므로 극단값에 끌려갑니다. 중앙값은 순위에 기반해 버팁니다.

문제 10. 로버스트 통계량에 해당하는 것은?

중앙값 절대편차는 극단값에 강한 산포 측도입니다. 평균, 분산, 범위는 모두 이상값에 민감합니다.

문제 11. 이상값이 군집분석에 미치는 영향으로 가장 알맞은 것은?

K-평균은 평균을 중심으로 쓰므로 이상값에 취약합니다. 밀도 기반 방법은 이상값을 잡음으로 분리합니다.

문제 12. 이상값 처리 내역을 기록해야 하는 이유로 가장 알맞은 것은?

어떤 기준으로 몇 건을 어떻게 처리했는지가 결론의 신뢰도를 좌우합니다.

묶음 3

문제 1. 다음 데이터에서 IQR 기준의 상한 경계는? 데이터의 Q1은 20, Q3은 40입니다.

IQR이 20이므로 상한은 Q3에 1.5배인 30을 더한 70입니다. 하한은 Q1에서 30을 뺀 마이너스 10이 됩니다.

문제 2. 표준화 점수로 이상값을 판정할 때 흔히 쓰는 경계는?

정규분포에서 표준편차 3배를 벗어날 확률이 매우 작다는 점을 근거로 삼습니다.

문제 3. 표본이 작을 때 표준편차 기준의 이상값 판정이 위험한 이유로 가장 알맞은 것은?

가면 효과라고 부릅니다. 로버스트 통계량을 기준으로 쓰면 완화됩니다.

문제 4. 그럽스 검정의 용도로 가장 알맞은 것은?

가장 멀리 떨어진 관측 하나를 대상으로 이상값 여부를 검정하는 방법입니다.

문제 5. 이상값 비율이 높은 데이터에서 K-평균 대신 고려할 만한 군집 방법은?

DBSCAN은 밀도가 낮은 점을 잡음으로 분류하므로 이상값에 강합니다.

문제 6. 이상값 탐지에서 원클래스 SVM의 접근으로 가장 알맞은 것은?

정상 사례만 있는 상황에 맞춘 방법입니다. 경계 밖으로 떨어지는 관측을 이상으로 판정합니다.

문제 7. 이상값을 결측으로 바꾼 뒤 대체하는 방식의 장점으로 가장 알맞은 것은?

행을 버리지 않으므로 다른 변수의 정보를 살릴 수 있습니다. 다만 대체에 따르는 왜곡은 그대로 안고 갑니다.

문제 8. 이상값 판정 기준을 데이터마다 다르게 정해야 하는 이유로 가장 알맞은 것은?

같은 값이라도 도메인에 따라 정상일 수도 이상일 수도 있습니다. 통계 기준과 업무 기준을 함께 봅니다.

문제 9. 이상값 처리 후 반드시 확인해야 할 것으로 가장 알맞은 것은?

결론이 처리 방식에 크게 좌우된다면 그 사실 자체를 보고해야 합니다.

문제 10. 이상값 탐지 결과를 업무에 적용할 때 함께 정의해야 하는 것은?

탐지만 하고 조치가 없으면 경보가 쌓이기만 합니다. 판정과 대응을 함께 설계해야 합니다.

문제 11. 결측을 특정 값으로 채운 뒤 그 값이 대량으로 이상값 판정에 걸리는 상황의 원인으로 가장 알맞은 것은?

마이너스 999 같은 표식 값으로 채우면 그 자체가 극단값 덩어리가 됩니다. 대체값 선택을 다시 봐야 합니다.

문제 12. 이상값 처리를 훈련 데이터와 검증 데이터에 적용하는 방식으로 옳은 것은?

검증 데이터의 정보가 기준 산정에 들어가면 성능이 낙관적으로 부풀려집니다.

이전: 1강 데이터 정제와 결측값 · 다음: 3강 변수 선택과 차원 축소

이 문서를 언급함

← 데이터 탐색 1강. 데이터 정제와 결측값 ← 데이터 탐색 3강. 변수 선택과 차원 축소 ← 실기 실무 1강. 작업형 제1유형 전처리 ← 빅데이터분석기사

모던지 · 궁금하면 모던지 GitHub · 2026-09-10