과대적합
- 과대적합(overfitting)은 표본 데이터에 지나치게 잘 맞는 모형이 모집단에서는 잘 맞지 않을 수 있는 문제
- 최소제곱법은 잔차분산이 가장 작은 계수를 추정
- 주어진 표본에 가장 맞는 계수를 찾게 됨
- 표집 오차가 존재하므로, 주어진 표본에 지나치게 맞는 계수를 추정하면 모집단의 계수와 다를 수 있음
독립변수의 개수와 과적합
- 최소제곱법은 잔차분산이 작아지는 방향으로 계수를 추정
- 종속변수와 아무 관련이 없는 독립변수를 추가하더라도 잔차분산이 커지는 경우는 없음
- 모집단에서는 아무 관련이 없어도 표본에서는 약간의 관계라도 있을 수 있으므로 잔차분산은 작아지게 됨
- 독립변수가 많아질수록 잔차분산은 무조건 작아짐
- 잔차분산이 작아지면 R2는 높아짐
모형 선택
- 여러 모형을 비교할 때 단순히 R2만 사용하면 독립변수가 많은 모형에 편향됨
- 독립변수 개수를 이론적으로 보정한 지표를 함께 사용
- 수정 R2: R2를 보정한 값으로, 클수록 좋음
- AIC와 BIC: 잔차분산을 보정한 지표로, 작을수록 좋음
단계적 회귀분석
- 독립변수 후보가 k개 있으면 가능한 독립변수 조합은 2k개
- 독립변수 후보가 많으면 모든 조합으로 회귀분석을 실시하는 것은 현실적으로 어려움
- 단계적 회귀분석(stepwise regression)은 독립변수를 하나씩 추가하거나 제거하여 종속변수를 잘 예측하는 변수들을 선택하는 기법
- 예측력이 통계적으로 유의한 예측변수들을 골라줌
- 오직 자료만으로 변수를 선택하기 때문에 이상한 결과가 생길 수 있음
- 단계적 회귀분석은 탐색적으로 주요 변수를 파악하는 목적으로만 실시해야 함
전진 선택
- 전진 선택(forward selection)은 독립변수를 하나씩 추가하는 방식
- 예: A, B, C, D를 가지고 Y를 예측하는 전진 방식의 단계적 회귀분석
- A, B, C, D 중 설명력이 가장 큰 예측변수 선택: A
- A+B, A+C, A+D 중 설명력이 가장 큰 조합 선택: A+B
- A와 A+B의 설명력이 유의하게 차이 나지 않으면 중단
- 설명력이 유의하게 차이 나면 A+B+C, A+B+D 중 설명력이 가장 큰 조합을 찾음
- 이 과정을 계속 반복
후진 선택
- 후진 선택(backward selection)은 독립변수를 하나씩 제거하는 방식
- 예: A, B, C, D를 가지고 Y를 예측하는 후진 방식의 단계적 회귀분석
- A+B+C+D에서 설명력이 가장 적게 줄어드는 변수를 제거
- 예를 들어 D를 제거하면 A+B+C와 A+B+C+D의 설명력을 비교
- 설명력이 유의하게 차이 나면 중단
- 차이가 나지 않으면 A+B+C에서 설명력이 가장 적게 줄어드는 변수를 다시 제거
- 이 과정을 반복
단계적 회귀분석에서 주의할 점
- 변수를 순서대로 선택하기 때문에 검토하지 못하는 조합이 생김
- 예: A -> A+B -> A+B+C 순으로 탐색하면 B+C는 검토할 기회가 없음
- 전진 방식과 후진 방식의 결과가 항상 같은 것은 아님
- 대체로 전진 방식이 후진 방식보다 적은 변수를 선택하는 경향이 있음
위계적 회귀분석
- 위계적 회귀분석(hierarchical regression)은 분석가가 의도나 가설을 가지고 기존 회귀분석 모형에 한 뭉텅이(chunk)의 변수들을 추가하여 설명력 차이를 비교하고 검증하는 방법
- 주로 통계적 통제를 하거나 기존 모형을 확장하기 위해 사용
- 연구자가 가설을 가지고 접근하더라도 실제로 유의하지 않은 예측변수들이 포함되어 있을 수 있으므로 이를 확인하는 기법
