통계적 가설 검정

가설검정

• 통계적 가설검정: 모집단에 대한 가설을 세우고 표본 데이터를 통해 이를 평가
• 가설이 사실이라는 가정하에 현재 데이터만큼 또는 그 이상 극단적인 결과가 나올 확률을 계산
• 그 확률이 매우 낮다면 기존 가설이 틀렸다고 판단하여 기각

일반적인 과학에서의 가설검정은 가설을 세우고 이를 증명할 증거를 수집하는 방식

• 가설을 세우고 이를 증명할 증거 수집(H → D)
• 긍정적인 증거를 모아 가설을 지지

통계적 가설검정은 반증주의 방식

• 기각하고자 하는 가설을 세우고 반증 시도
• "차이가 없다", "효과가 없다" 등으로 설정
• 결코 100% 확실히 증명할 수 없기 때문에 논박하는 구조를 취함(not D → not H)

귀무가설과 대립가설

• 귀무가설(Null Hypothesis, $H_0$)
  • 검정의 대상이 되는 기본 가설
  • 기각이 목표
  • "차이가 없다", "영향이 없다", "기존과 동일하다" 등
• 대립가설(Alternative Hypothesis, $H_1$)
  • 연구자가 새롭게 입증하고자 하는 가설
  • "차이가 있다", "기존과 다르다" 등
  • 귀무가설 기각 시 채택됨

유의확률과 검정 오류

• 유의수준($\alpha$)
  • 귀무가설을 기각하기로 설정한 확률적 기준선
  • 관례적으로 0.05(5%)를 가장 널리 사용
• 유의확률, p-값(p-value)
  • 귀무가설이 맞다는 전제하에, 표본으로부터 얻은 통계량 이상으로 극단적인 값이 나올 확률
  • 표본 데이터가 귀무가설과 얼마나 어울리지 않는지 판단하는 기준
  • p-값이 크다고 귀무가설이 참이라는 뜻은 아님
  • p-값이 작을수록 현재 데이터가 귀무가설과 어울리지 않음을 의미
• 검정 오류
  • 1종 오류: 실제로는 차이가 없는데 차이가 있다고 판단
  • 2종 오류: 실제로는 차이가 있는데 차이가 없다고 판단
  • 유의수준 $\alpha$는 귀무가설이 참일 때 1종 오류를 범할 확률
  • 유의수준을 높이면 1종 오류의 확률은 증가하고, 2종 오류는 감소하는 경향

가설의 채택과 기각 판단 기준

• 일반적으로 0.05를 기준으로 판단
• $p<\alpha$
  • 귀무가설 기각, 대립가설 채택
  • "통계적으로 유의미한 차이가 있다"고 결론
  • 유의함
• $p\ge \alpha$
  • 귀무가설 기각 실패
  • "통계적으로 유의미한 차이를 발견하지 못했다"고 결론
  • 유의하지 않음

가설 검정 순서도

flowchart TD
    B{"p-value < 0.05"} -- "예" --> C["귀무가설 기각<br/>대립가설 채택"]
    C --> D["통계적으로 유의미한 차이"]
    B -- "아니오" --> E["귀무가설 기각 실패"]

• 기각 실패는 귀무가설이 참이라는 증명이 아니라, 차이를 확인할 근거가 부족하다는 뜻

p-value에 영향을 주는 요소

• 표본의 크기($n$)
  • 실제 차이가 있을 때, 표본이 클수록 p-value가 작아지는 경향
  • 귀무가설이 참이면 표본 크기와 관계없이 p-value는 0과 1 사이에서 고르게 분포
• 귀무가설과 통계량의 차이
  • 효과가 클수록 p-value가 작아지는 경향
• 모집단의 변산성
  • 모집단의 변산성이 클수록 p-value가 커지는 경향