평균도 같고 분산도 같고 상관계수까지 같은 데이터 네 벌이 있습니다. 그림을 그리면 완전히 다른 네 개입니다.
풀고 시작
문제 1. 소득처럼 오른쪽으로 긴 꼬리를 갖는 분포에서 평균, 중앙값, 최빈값의 크기 관계는?
꼬리가 뻗은 쪽으로 평균이 가장 크게 끌려갑니다. 그래서 최빈값, 중앙값, 평균 순으로 커지죠. 소득 통계에서 평균 소득이 중위 소득보다 늘 높게 나오는 이유가 이것입니다.
요약통계만 보면 속습니다
1973년, 통계학자 프랭크 앤스컴이 데이터 네 벌을 나란히 놓습니다. 네 벌 모두 x의 평균과 분산이 같고, y의 평균과 분산도 같고, 상관계수와 회귀직선까지 소수점 아래 두 자리에서 일치했습니다. 표만 보면 같은 데이터라고 해도 이상하지 않았죠.
그런데 그림을 그리자 전혀 달랐습니다. 하나는 평범한 직선 관계였고, 하나는 뚜렷한 곡선이었으며, 하나는 이상값 하나가 직선을 통째로 끌어당기고 있었고, 나머지 하나는 거의 모든 점이 한 x값에 몰려 있었습니다. 앤스컴이 이 그림들로 하려던 말은 단순합니다. 요약통계는 데이터의 그림자이고, 서로 다른 물체가 같은 그림자를 만들 수 있습니다. 탐색적 데이터 분석에서 시각화를 먼저 놓는 이유입니다.
세 종류의 요약값
갈래
통계량
메모
중심
평균, 중앙값, 최빈값
평균은 이상값에 흔들리고 중앙값은 버팀
산포
범위, 분산, 표준편차, 사분위 범위, 변동계수
흩어진 정도
형태
왜도, 첨도
치우침과 뾰족함
변동계수는 조금 덜 알려졌는데 시험에 나옵니다. 표준편차를 평균으로 나눈 값이라 단위가 없어서, 단위나 규모가 다른 두 집단의 흩어짐을 비교할 때 씁니다. 코끼리 몸무게의 표준편차와 생쥐 몸무게의 표준편차를 그냥 비교하면 의미가 없지만, 변동계수로는 비교가 되죠.
왜도는 어느 쪽으로 꼬리가 뻗었는지를 말합니다. 값이 양수이면 오른쪽 꼬리가 길고, 이때 평균이 중앙값보다 큽니다. 첨도는 뾰족한 정도인데, 실질적으로는 꼬리가 얼마나 두꺼운지를 재는 값에 가깝습니다. 꼬리가 두꺼우면 극단적인 사건이 정규분포가 예측하는 것보다 자주 일어난다는 뜻이라, 금융 위험 관리에서 특히 중요하게 봅니다.
두 변수가 함께 움직이는가
상관계수는 두 변수의 동행을 마이너스 1에서 1 사이의 수로 나타냅니다. 어떤 계수를 쓸지는 데이터의 성격이 정합니다.
피어슨 상관계수는 연속형 변수의 직선 관계를 잽니다. 관계가 곡선이면 실제로는 강하게 연결돼 있어도 계수가 0에 가깝게 나올 수 있죠. 스피어만 상관계수는 값 대신 순위로 계산하므로 직선이 아니어도 한 방향으로 함께 오르내리기만 하면 잡아냅니다. 순위를 쓰니 이상값에도 강하고, 순서형 자료에 쓸 수 있습니다. 범주형 두 변수의 관련성은 카이제곱 검정으로 봅니다.
그리고 이 강에서 가장 자주 잊히는 문장이 있습니다. 상관은 인과가 아닙니다. 아이스크림 판매량과 익사 사고는 함께 오르지만 서로의 원인이 아니고, 기온이라는 제3의 변수가 둘을 동시에 밀어 올립니다. 이런 변수를 교란변수라고 부르죠. 탐색 단계에서 발견한 상관은 가설이지 결론이 아닙니다.
무엇으로 그릴까
목적에 따라 그림이 정해집니다. 한 변수의 분포는 히스토그램, 집단별 분포 비교는 상자그림, 두 변수의 관계는 산점도, 여러 변수를 한꺼번에 훑으려면 산점도 행렬과 상관계수 히트맵입니다. 시간에 따른 변화는 선그래프죠. 시공간 데이터는 지도 위에, 텍스트 같은 비정형 데이터는 빈도와 동시 출현 관계로 탐색합니다. 그림의 문법은 4과목 4강에서 본격적으로 다룹니다.
인출 문제
문제 1. 평균, 분산, 상관계수, 회귀직선이 모두 거의 같은데 산점도는 전혀 다른 네 데이터셋이 주는 교훈은?
서로 다른 구조가 같은 요약값을 낼 수 있다는 것이 요점입니다. 곡선 관계나 하나의 이상값이 만들어 낸 직선을 표만 보고는 구분할 수 없으므로, 탐색 단계에서 그림을 먼저 그려야 합니다.
문제 2. 두 변수의 관계가 곡선 형태로 강하게 나타나는데 피어슨 상관계수가 0에 가까웠습니다. 가장 적절한 해석은?
피어슨은 직선 관계를 전제로 한 지표입니다. U자 형태처럼 방향이 바뀌는 관계는 양의 부분과 음의 부분이 상쇄되어 0에 가까워집니다. 산점도로 확인하고 필요하면 스피어만이나 변환을 고려해야 합니다.
문제 3. 단위가 서로 다른 두 집단의 상대적인 산포를 비교하기에 가장 적절한 통계량은?
변동계수는 표준편차를 평균으로 나눈 값이라 단위가 사라집니다. 그래서 규모나 단위가 다른 집단끼리 흩어진 정도를 견줄 수 있습니다. 분산과 표준편차는 단위가 남아 직접 비교가 어렵습니다.
문제 4. 순서형 자료이거나 이상값이 많아 순위 기반으로 관련성을 보고 싶을 때 적절한 지표는?
스피어만은 값을 순위로 바꾼 뒤 계산하므로 이상값의 영향이 줄고, 직선이 아니어도 한 방향으로 함께 움직이는 관계를 잡아냅니다. 순서형 자료에도 적용할 수 있습니다.
더 풀기
출제기준의 세세항목을 따라 이 강의 범위에서 새로 낸 문제입니다. 시공간·다변량·비정형 탐색도 여기에 함께 담았습니다.
묶음 1
문제 1. 산포를 나타내는 통계량으로 보기 어려운 것은?
최빈값은 중심을 나타내는 대푯값입니다. 나머지는 흩어진 정도를 재는 값입니다.
문제 2. 변동계수를 쓰는 이유로 가장 알맞은 것은?
표준편차를 평균으로 나눈 값이라 척도의 영향을 지웁니다. 평균이 0에 가까우면 불안정해지는 약점이 있습니다.
문제 3. 왜도가 양수라는 것은 분포가 어떤 모양이라는 뜻인가요?
오른쪽 꼬리가 길면 왜도가 양수이고 평균이 중앙값보다 큰 경향이 있습니다. 소득 분포가 대표적입니다.
문제 4. 첨도가 나타내는 성질로 가장 알맞은 것은?
첨도는 극단값이 얼마나 자주 나타나는지와 관련됩니다. 위치는 평균, 관계는 상관계수가 담당합니다.
문제 5. 오른쪽으로 치우친 분포에서 평균, 중앙값, 최빈값의 크기 관계로 옳은 것은?
긴 오른쪽 꼬리가 평균을 끌어올립니다. 최빈값, 중앙값, 평균 순으로 커집니다.
문제 6. 피어슨 상관계수의 성질로 옳은 것은?
선형 관계만 재며 표준화된 값이라 단위와 무관합니다. 인과와는 별개의 개념입니다.
문제 7. 순위를 이용해 단조 관계를 재는 상관계수는?
값 대신 순위를 쓰므로 이상값에 강하고 곡선이어도 단조롭기만 하면 잡아냅니다.
문제 8. 상관계수가 0에 가깝다는 것의 의미로 가장 알맞은 것은?
완전한 포물선 관계에서도 피어슨 상관은 0이 될 수 있습니다. 산점도를 함께 봐야 하는 이유입니다.
문제 9. 앤스컴의 사인방이 보여 주는 교훈으로 가장 알맞은 것은?
평균과 분산, 상관, 회귀선이 거의 같은 네 데이터가 전혀 다른 모양을 가집니다.
문제 10. 히스토그램과 막대그래프의 차이로 옳은 것은?
그래서 히스토그램의 막대는 붙어 있고 막대그래프의 막대는 떨어져 있습니다.
문제 11. 두 연속형 변수의 관계를 보기 위해 가장 먼저 그릴 그림은?
두 축에 각각 변수를 놓고 점을 찍는 산점도가 관계 탐색의 출발점입니다.
문제 12. 여러 변수의 쌍별 관계를 한 화면에서 보기 위한 그림은?
변수들을 행과 열로 배열해 모든 쌍의 산점도를 한 번에 봅니다.
묶음 2
문제 1. 상자그림에서 읽을 수 없는 정보는?
상자그림은 분포의 위치와 산포, 이상값을 보여 주지만 개수는 나타내지 않습니다.
문제 2. 시공간 데이터 탐색에서 자주 쓰이는 시각화로 보기 어려운 것은?
덴드로그램은 계층적 군집의 결과를 보는 그림입니다. 나머지는 공간 정보를 지도 위에 표현하는 방법입니다.
문제 3. 등치지역도에 대한 설명으로 옳은 것은?
색으로 값을 표현하는 지도입니다. 면적을 값에 비례해 왜곡하는 것은 카토그램입니다.
문제 4. 공간 데이터 분석에서 공간적 자기상관을 확인하는 대표적 지표는?
이웃한 지역끼리 값이 비슷한 경향을 재는 것이 모란 지수입니다. 더빈왓슨은 시계열 잔차의 자기상관을 봅니다.
문제 5. 다변량 탐색에서 히트맵이 유용한 이유로 가장 알맞은 것은?
상관행렬을 색으로 표현하면 강한 관계의 덩어리를 빠르게 찾을 수 있습니다.
문제 6. 평행좌표그래프의 용도로 가장 알맞은 것은?
축을 나란히 놓고 각 개체를 선으로 연결해 다변량 패턴을 비교합니다.
문제 7. 비정형 텍스트 데이터의 탐색 방법으로 보기 어려운 것은?
더빈왓슨은 회귀 잔차의 자기상관 검정입니다. 나머지가 텍스트 탐색의 대표 방법입니다.
문제 8. TF-IDF가 단순 빈도보다 나은 점으로 가장 알맞은 것은?
문서 빈도의 역수를 곱해 흔한 단어를 눌러 줍니다. 그래서 특징적인 단어가 드러납니다.
문제 9. 소셜 네트워크 분석에서 연결 중심성이 뜻하는 것은?
직접 연결 수를 세는 것이 연결 중심성입니다. 최단 경로 위에 놓이는 정도는 매개 중심성입니다.
문제 10. 매개 중심성이 높은 노드의 특징으로 가장 알맞은 것은?
이 노드를 제거하면 집단 사이의 연결이 끊어집니다. 정보 흐름의 길목입니다.
문제 11. 탐색적 자료분석의 목적으로 가장 알맞은 것은?
확증이 아니라 탐색이 목적입니다. 여기서 얻은 실마리를 뒤에서 검정으로 확인합니다.
문제 12. 탐색 단계에서 요약통계량과 시각화를 함께 봐야 하는 이유로 가장 알맞은 것은?
두 방식의 약점이 서로 반대라 함께 봐야 전체가 보입니다.
묶음 3
문제 1. 표본 상관계수가 크다고 해서 인과를 주장할 수 없는 이유로 보기 어려운 것은?
계산은 언제나 가능합니다. 나머지 셋이 인과 주장을 막는 이유입니다.
문제 2. 심슨의 역설이 뜻하는 현상으로 가장 알맞은 것은?
집단별로는 모두 A가 유리한데 합치면 B가 유리해 보이는 식입니다. 층을 나누어 보는 습관이 필요합니다.
문제 3. 결측 패턴을 시각적으로 확인하는 방법으로 가장 알맞은 것은?
결측이 특정 변수나 시점에 몰려 있는지를 한눈에 볼 수 있습니다.
문제 4. 중앙값이 평균보다 대표성이 좋은 상황으로 가장 알맞은 것은?
극단값이 평균을 끌어올리므로 전형적인 값은 중앙값이 더 잘 나타냅니다.
문제 5. 두 범주형 변수의 관계를 탐색할 때 적절한 도구는?
범주의 조합별 빈도를 보는 교차표가 출발점입니다. 시각화는 누적 막대나 모자이크 그림을 씁니다.
문제 6. 범주형 변수와 연속형 변수의 관계를 볼 때 적절한 그림은?
집단별 분포를 나란히 놓고 비교하는 그림이 적절합니다.
문제 7. 시계열 데이터를 탐색할 때 가장 먼저 확인할 것으로 가장 알맞은 것은?
추세와 계절성을 먼저 확인해야 이후 모형과 검정이 타당해집니다.
문제 8. 로그 척도로 축을 바꾸어 그리는 것이 유용한 경우로 가장 알맞은 것은?
자릿수가 다른 값들을 한 화면에서 비교할 수 있게 해 줍니다.
문제 9. 상관행렬을 볼 때 주의할 점으로 가장 알맞은 것은?
다중 비교의 문제입니다. 눈에 띄는 상관을 발견하면 별도 검증이 필요합니다.
문제 10. 데이터 탐색에서 도메인 전문가와 함께 볼 때 얻는 이점으로 가장 알맞은 것은?
이상해 보이는 값이 사실은 정상 업무 절차의 결과인 경우가 많습니다.
문제 11. 다변량 정규성을 확인하기 위한 그림으로 가장 알맞은 것은?
거리 통계량을 이론 분위수와 견주어 직선에서 벗어나는 정도를 봅니다.
문제 12. 탐색 단계에서 발견한 패턴을 그대로 결론으로 발표하면 안 되는 이유로 가장 알맞은 것은?