회귀라는 이름은 통계 용어가 아니라 유전 연구에서 왔습니다. 키 큰 아버지의 아들이 아버지보다 작더라는 관찰이었죠.
풀고 시작
문제 1. 다중회귀에서 독립변수를 하나 더 넣었을 때 결정계수에 반드시 일어나는 일은?
결정계수는 변수를 추가하면 절대 줄지 않습니다. 그래서 변수를 마구 넣으면 값이 좋아 보이죠. 이 함정을 막으려고 변수 개수에 벌점을 매긴 수정 결정계수를 함께 봅니다.
평균으로 돌아간다는 관찰
1880년대, 프랜시스 골턴이 아버지와 아들의 키를 대규모로 조사합니다. 예상은 단순했습니다. 키 큰 아버지의 아들은 키가 클 것이다. 실제로도 그랬죠. 그런데 정도가 예상보다 약했습니다. 아주 큰 아버지의 아들은 아버지보다 작았고, 아주 작은 아버지의 아들은 아버지보다 컸습니다. 후손의 키가 전체 평균 쪽으로 되돌아가는 것처럼 보인다고 해서, 골턴은 이 현상에 "평균으로의 회귀"라는 이름을 붙였습니다.
오늘날 회귀분석은 유전과 아무 상관이 없지만 이름만은 그대로 남았습니다. 그리고 평균으로의 회귀 자체는 여전히 살아 있는 함정입니다. 성적이 폭락한 학생을 혼냈더니 다음 시험에서 올랐다면, 야단이 효과가 있었던 것이 아니라 그저 극단값 다음에는 평균에 가까운 값이 오기 쉬웠던 것일 수 있습니다.
직선 하나를 어떻게 긋나
회귀분석은 독립변수로 종속변수를 설명하는 직선을 찾습니다. 어떤 직선이 가장 좋은가에 대한 답이 최소제곱법입니다. 각 점에서 직선까지의 세로 거리를 잔차라고 하는데, 그 잔차의 제곱합을 가장 작게 만드는 직선을 고릅니다. 제곱하는 이유는 위아래 오차가 상쇄되지 않게 하기 위해서이고, 그 대가로 큰 오차 하나에 크게 흔들립니다. 회귀선이 이상값에 약한 이유입니다.
회귀계수는 이렇게 읽습니다. 다른 변수들이 고정돼 있을 때, 그 변수가 1단위 늘면 종속변수가 계수만큼 변한다. 앞의 단서가 중요합니다. 다중회귀의 계수는 그 변수 하나만의 효과가 아니라 다른 변수를 통제한 뒤 남는 효과이므로, 단순회귀에서 계산한 값과 다를 수 있고 부호가 뒤집히기도 합니다.
모델이 얼마나 설명하는지는 결정계수로 봅니다. 전체 변동 중 회귀선이 설명한 비율이고 0과 1 사이죠. 문제는 변수를 늘리기만 해도 값이 올라간다는 것입니다. 쓸모없는 변수를 넣어도 우연히 조금은 맞으니까요. 그래서 변수 개수만큼 벌점을 물리는 수정 결정계수를 함께 봅니다. 변수를 넣었는데 수정 결정계수가 떨어졌다면 그 변수는 값어치를 못 한 것입니다.
회귀의 네 가지 가정
가정
뜻
어겼을 때
선형성
독립변수와 종속변수의 관계가 직선
모델 자체가 틀림
독립성
오차끼리 상관이 없음
시계열에서 자주 깨짐, 더빈왓슨 통계량으로 점검
등분산성
오차의 흩어짐이 어디서나 일정
표준오차가 잘못 계산되어 검정이 왜곡됨
정규성
오차가 정규분포를 따름
작은 표본에서 검정과 구간추정이 부정확해짐
점검은 대부분 잔차 그림으로 합니다. 예측값에 대해 잔차를 뿌렸을 때 아무 무늬 없이 흩어져 있으면 좋은 신호입니다. 곡선 무늬가 보이면 선형성이 깨진 것이고, 오른쪽으로 갈수록 부채처럼 벌어지면 등분산성이 깨진 것이죠. 정규성은 정규 확률도로 봅니다.
변수들끼리 겹칠 때
독립변수들끼리 강하게 상관되어 있는 상태를 다중공선성이라고 합니다. 키와 몸무게, 매출액과 영업이익을 한 모델에 같이 넣으면 벌어지는 일이죠.
증상이 특징적입니다. 모델 전체는 잘 맞는데 개별 계수가 통계적으로 유의하지 않고, 데이터를 조금만 바꿔도 계수가 크게 출렁이며, 상식과 반대 부호가 나오기도 합니다. 겹치는 정보를 두 변수가 서로 나눠 가지느라 각자의 몫이 불안정해지는 것입니다.
진단은 분산팽창계수(VIF)로 합니다. 보통 10을 넘으면 다중공선성을 의심하죠. 대응은 셋입니다. 겹치는 변수 중 하나를 빼거나, 주성분 분석으로 서로 직교하는 축을 만들어 쓰거나, 계수를 눌러 주는 릿지 회귀를 씁니다.
범주형 변수를 넣을 때는 더미변수로 바꿉니다. 이때 범주가 k개면 더미는 k-1개만 넣습니다. k개를 다 넣으면 서로 완전히 겹쳐 계산 자체가 불가능해지고, 빠진 범주 하나가 비교 기준이 됩니다.
인출 문제
문제 1. 다중회귀에서 모형 전체의 설명력은 높은데 개별 회귀계수 대부분이 유의하지 않게 나왔습니다. 가장 의심할 것은?
겹치는 정보를 여러 변수가 나눠 가지면 각 계수의 표준오차가 커져 개별 유의성이 사라집니다. 반면 함께 설명하는 힘은 그대로라 모형 전체의 설명력은 높게 유지되는 전형적인 다중공선성 증상입니다.
문제 2. 분산팽창계수(VIF)에 대한 설명으로 옳은 것은?
VIF는 해당 변수가 다른 독립변수들로 얼마나 설명되는지를 반영하며 값이 클수록 겹침이 심합니다. 통상 10을 기준선으로 삼고, 보수적으로는 5를 쓰기도 합니다.
문제 3. 잔차를 예측값에 대해 그렸더니 오른쪽으로 갈수록 부채꼴로 퍼졌습니다. 어떤 가정이 위배된 것인가요?
오차의 흩어짐이 예측값에 따라 달라지고 있으므로 등분산성 위반입니다. 이 경우 표준오차가 잘못 계산되어 유의성 검정이 왜곡되며, 로그 변환이나 가중최소제곱으로 대응합니다.
문제 4. 지역이라는 범주형 변수에 서울, 부산, 대구 세 범주가 있습니다. 더미변수를 몇 개 만들어 회귀식에 넣나요?
범주가 k개면 더미는 k-1개를 넣습니다. 세 개를 모두 넣으면 서로 완벽하게 겹쳐 추정이 불가능해지고, 빠진 하나는 나머지 계수를 해석할 때의 기준 범주가 됩니다.
더 풀기
출제기준의 세세항목을 따라 이 강의 범위에서 새로 낸 문제입니다. 모의고사도 여기에서 뽑습니다.
묶음 1
문제 1. 최소제곱법이 최소화하는 대상은?
부호가 상쇄되지 않도록 제곱해 더한 값을 최소로 만듭니다. 절댓값 합을 최소화하면 최소절대편차 회귀가 됩니다.
문제 2. 단순선형회귀에서 기울기 계수의 해석으로 옳은 것은?
다중회귀라면 다른 변수를 고정한 상태에서의 평균 변화량으로 해석합니다.
문제 3. 회귀분석의 기본 가정으로 보기 어려운 것은?
정규성 가정은 오차에 대한 것이지 독립변수에 대한 것이 아닙니다.
문제 4. 등분산성이 깨졌을 때 나타나는 문제로 가장 알맞은 것은?
계수 자체는 여전히 불편추정량이지만 검정과 구간추정이 신뢰를 잃습니다.
문제 5. 잔차도에서 깔때기 모양이 나타난다면 의심할 가정은?
적합값이 커질수록 잔차가 퍼지면 분산이 일정하지 않다는 신호입니다.
문제 6. 더빈왓슨 통계량이 2에 가깝다는 것의 의미로 옳은 것은?
0에 가까우면 양의 자기상관, 4에 가까우면 음의 자기상관을 뜻합니다.
문제 7. 결정계수에 대한 설명으로 옳은 것은?
변수를 늘리면 결정계수는 절대 줄지 않으므로 수정 결정계수를 함께 봐야 합니다.
문제 8. 수정 결정계수가 필요한 이유로 가장 알맞은 것은?
변수 수에 벌점을 주므로 기여가 없는 변수를 넣으면 오히려 값이 떨어질 수 있습니다.
문제 9. 다중공선성이 있을 때 나타나는 현상으로 옳은 것은?
전체 설명력은 유지되는데 개별 계수만 불안정해지는 것이 특징입니다.
문제 10. 분산팽창지수가 10을 넘을 때의 대응으로 보기 어려운 것은?
표본을 줄이면 추정이 더 불안정해집니다.
문제 11. 회귀계수의 유의성 검정에 쓰이는 통계량은?
개별 계수는 t검정, 모형 전체의 유의성은 F검정으로 판단합니다.
문제 12. 회귀모형 전체가 유의한지 검정할 때 쓰는 통계량은?
모든 기울기 계수가 0이라는 귀무가설을 F검정으로 판단합니다.
묶음 2
문제 1. 릿지 회귀의 벌점 항으로 옳은 것은?
제곱 벌점이므로 계수를 0에 가깝게 줄이지만 정확히 0으로 만들지는 못합니다.
문제 2. 상관이 높은 변수 무리가 있을 때 라쏘가 보이는 행동으로 옳은 것은?
선택이 불안정해져 표본이 조금만 바뀌어도 남는 변수가 달라집니다. 이 약점을 엘라스틱넷이 보완합니다.
문제 3. 엘라스틱넷의 특징으로 옳은 것은?
상관이 높은 변수 무리에서 라쏘가 하나만 남기는 문제를 완화합니다.
문제 4. 규제 강도를 너무 크게 했을 때 나타나는 현상으로 옳은 것은?
규제는 분산을 줄이는 대신 편향을 키웁니다. 지나치면 신호까지 눌립니다.
문제 5. 규제 회귀를 적용하기 전에 반드시 해야 할 처리는?
벌점이 계수 크기에 걸리므로 단위가 다르면 규제가 불공평하게 작용합니다.
문제 6. 로지스틱 회귀가 선형회귀와 다른 점으로 옳은 것은?
확률을 그대로 직선으로 놓으면 0과 1을 벗어나므로 로그 오즈를 씁니다.
문제 7. 오즈비가 2라는 것의 해석으로 옳은 것은?
오즈는 성공 확률을 실패 확률로 나눈 값입니다. 확률 자체가 두 배가 되는 것은 아닙니다.
문제 8. 다항회귀를 쓸 때 주의할 점으로 가장 알맞은 것은?
고차 다항식은 관측 범위를 벗어나면 급격히 발산합니다.
문제 9. 잔차의 정규성을 확인하는 그림으로 가장 알맞은 것은?
이론 분위수와 실제 분위수를 견주어 직선에서 벗어나는 정도를 봅니다.
문제 10. 회귀분석에서 영향점을 진단하는 지표로 가장 알맞은 것은?
그 관측을 뺐을 때 적합값이 얼마나 달라지는지를 재는 지표입니다.
문제 11. 레버리지가 높은 관측치의 특징으로 옳은 것은?
레버리지는 설명변수의 위치에 관한 개념입니다. 잔차와 결합될 때 영향력이 커집니다.
문제 12. 종속변수에 로그를 취한 회귀에서 계수의 해석으로 가장 알맞은 것은?
작은 계수 값은 백분율 변화로 근사해 읽습니다.
문제 13. 회귀분석에서 범주형 독립변수를 쓰는 방법으로 옳은 것은?
모든 범주를 다 넣으면 완전한 다중공선성이 생깁니다. 기준 범주 대비 차이로 해석합니다.
묶음 3
문제 1. 회귀모형에서 상호작용 항이 유의하다는 것의 의미로 옳은 것은?
효과의 크기가 조건에 따라 달라지는 구조를 뜻합니다.
문제 2. 예측 구간이 신뢰 구간보다 넓은 이유로 가장 알맞은 것은?
평균을 맞히는 것보다 개별 값을 맞히는 것이 더 어렵습니다.
문제 3. 회귀분석 결과를 인과로 해석하기 어려운 이유로 보기 어려운 것은?
계산은 언제나 가능합니다. 나머지 셋이 인과 해석을 막는 이유입니다.
문제 4. 표본 크기가 매우 클 때 회귀계수의 유의성 해석에서 주의할 점은?
유의성과 중요성을 구분해 효과크기를 함께 보고해야 합니다.
문제 5. 단계적 회귀로 변수를 고를 때의 위험으로 가장 알맞은 것은?
선택 후 추론 문제라고 부릅니다. 교차검증이나 규제 방법이 권장되는 이유입니다.
문제 6. 잔차와 적합값의 산점도에서 곡선 패턴이 보인다면 의심할 것은?
관계가 곡선이라면 항을 추가하거나 변환이 필요합니다.
문제 7. 가중최소제곱을 쓰는 상황으로 가장 알맞은 것은?
분산이 작은 관측에 더 큰 가중치를 주어 등분산성 위반에 대응합니다.
문제 8. 회귀분석에서 절편의 해석으로 옳은 것은?
중심화를 하면 절편이 평균 수준의 기대값이 되어 해석이 쉬워집니다.
문제 9. 포아송 회귀를 쓰는 상황으로 가장 알맞은 것은?
계수 자료에 맞춘 일반화선형모형입니다. 과산포가 있으면 음이항 회귀를 씁니다.
문제 10. 일반화선형모형의 구성 요소로 보기 어려운 것은?
군집 수는 군집분석의 설정입니다. 나머지 셋이 일반화선형모형의 뼈대입니다.
문제 11. 회귀 예측 성능을 평가할 때 훈련 데이터의 결정계수만 보면 안 되는 이유로 가장 알맞은 것은?