logo
위키

표준화 회귀계수

독립변수의 단위 문제

  • 다중회귀분석에서 독립변수의 단위가 다르면 회귀계수 크기를 비교하기 어려움
  • 표준화를 하면 평균은 0, 표준편차는 1이 됨
표준편차X−평균​
  • 표준화를 통해 변수의 단위를 제거하여 회귀계수의 상대적 크기 비교 가능

표준화 회귀계수 계산

  • statsmodels 수식 안에서 scale 함수를 이용하여 표준화할 수 있음
🤖 AI 프롬프트
df에서 length, beam, speed를 statsmodels 수식의 scale()로 각각 표준화하여 weight를 설명하는 다중 선형 회귀를 적합해줘. 종속변수는 원래 단위를 유지하고, 적합된 모형을 model_std에 저장한 뒤 요약표를 출력해줘.

model_std = ols(
    "weight ~ scale(length) + scale(beam) + scale(speed)",
    data=df,
).fit()

print(model_std.summary())
실행 결과
                            OLS Regression Results                            
==============================================================================
Dep. Variable:                 weight   R-squared:                       0.514
Model:                            OLS   Adj. R-squared:                  0.499
Method:                 Least Squares   F-statistic:                     33.87
Date:                Sun, 18 Oct 2026   Prob (F-statistic):           5.09e-15
Time:                        14:44:07   Log-Likelihood:                -1037.3
No. Observations:                 100   AIC:                             2083.
Df Residuals:                      96   BIC:                             2093.
Df Model:                           3                                         
Covariance Type:            nonrobust                                         
=================================================================================
                    coef    std err          t      P>|t|      [0.025      0.975]
---------------------------------------------------------------------------------
Intercept      4.916e+04    789.976     62.228      0.000    4.76e+04    5.07e+04
scale(length) -4629.4848   2856.238     -1.621      0.108   -1.03e+04    1040.104
scale(beam)    1.221e+04   2852.604      4.279      0.000    6543.008    1.79e+04
scale(speed)  -1471.9580    793.994     -1.854      0.067   -3048.023     104.107
==============================================================================
Omnibus:                       12.292   Durbin-Watson:                   1.888
Prob(Omnibus):                  0.002   Jarque-Bera (JB):               13.675
Skew:                           0.904   Prob(JB):                      0.00107
Kurtosis:                       3.098   Cond. No.                         7.10
==============================================================================

Notes:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.
  • scale(length): -4629.4848
  • scale(beam): 약 12210
  • scale(speed): -1471.9580
  • 절댓값이 가장 큰 표준화 계수는 beam

표준화해도 변하지 않는 것과 변하는 것

  • R2는 변하지 않음
    • 표준화 전 모형과 같은 0.514
    • 독립변수의 단위만 바뀌었을 뿐 예측값이 그대로이므로 설명력도 같음
  • 절편의 의미가 달라짐
    • 표준화 전: 모든 독립변수가 0일 때 weight의 예측값. 길이 0, 폭 0인 선박이라 해석이 무의미
    • 표준화 후: 표준화된 변수가 0, 즉 모든 독립변수가 평균일 때 weight의 예측값
    • 그래서 절편 4.916e+04는 weight의 평균 49159와 같음

퀴즈

문제 1 / 2맞음: 0힌트: 0틀림: 0채점중: 0남음: 2

다중회귀에서 독립변수를 표준화하는 주된 이유는?

  • ○변수 단위를 제거하여 회귀계수의 상대적 크기를 비교하기 위해
  • ○모든 회귀계수를 통계적으로 유의하게 만들기 위해
  • ○종속변수의 측정 단위를 원래 단위로 바꾸기 위해
  • ○모형의 결정계수를 반드시 높이기 위해

퀴즈를 풀려면 대화형 기능을 불러와야 합니다.

Previous
다중회귀분석
Next
다중공선성