피어슨 상관계수

공분산과 상관계수

• 표본 공분산(sample covariance): 두 변수가 함께 변화하는 정도를 측정
• $X$와 $Y$의 편차 곱을 자유도 $n-1$로 나눈 값
  • $X=Y$이면 표본분산과 같음

• 공분산의 부호에 따른 의미
  • 양수(+): 양의 상관관계
  • 음수(-): 음의 상관관계
  • 0에 가까움: 뚜렷한 선형 관계가 없음
• 공분산은 변수의 측정 단위에 영향을 받으므로 관계의 강도를 직접 비교하기 어려움

df[['length', 'weight']].cov()

               length        weight
length    2198.079454  3.298211e+05
weight  329821.100000  1.245622e+08

• length와 weight의 표본 공분산: 329821.1
• 양수이므로 길이가 긴 선박일수록 무거운 경향

피어슨 상관계수

• 피어슨 상관계수(Pearson Correlation Coefficient)
• 공분산을 각 변수의 표준편차로 나누어 정규화한 값
  • 단위의 영향을 제거
• 두 변수 간의 선형적 관계의 강도와 방향을 수치로 표현
• 표본 상관계수는 $r$, 모집단 상관계수는 $\rho$로 표기

ship.xlsx에서 length와 weight의 관계를 pingouin으로 상관분석

import pingouin as pg

pg.corr(x=df['length'], y=df['weight'])

           n         r         CI95         p_val       BF10  power
pearson  100  0.630324  [0.5, 0.74]  2.108528e-12  4.572e+09    1.0

• Pearson 상관계수: $r=0.630324$
• 95% 신뢰구간: [0.50, 0.74]
• p-value: 2.11e-12
• 길이와 무게 사이에 통계적으로 유의한 양의 선형 관계

상관계수 가설 검정

• 귀무가설: 모집단에서 상관관계가 없다($\rho =0$)
• 대립가설: 모집단에서 상관관계가 있다($\rho \ne 0$)
• 일반적으로 p-value가 0.05보다 작으면 통계적으로 유의미한 상관관계가 있다고 판단
• p-value가 0.05 이상이면 표집 오차일 가능성을 고려하여 유의미한 상관관계를 발견하지 못했다고 판단

flowchart TD
    A["가설 설정<br/>귀무가설: 상관관계가 없다 (ρ = 0)<br/>대립가설: 상관관계가 있다 (ρ ≠ 0)"] --> B{"p-value < 0.05"}
    B -- "예" --> C["통계적으로 유의미한 상관 관계<br/>(모집단에서 상관관계가 있을 가능성)"]
    B -- "아니오" --> D["통계적으로 유의미하지 않은 상관 관계<br/>(표집 오차일 가능성 있음)"]