요인 분석과 주성분 분석

요인 분석

요인 분석(factor analysis, FA): 여러 관찰 변수 사이의 상관을 소수의 잠재 요인(latent factor)으로 설명하는 통계 모형
- 관찰 변수: 설문 문항 점수처럼 직접 측정한 변수
- 잠재 요인: 지능, 외향성처럼 직접 측정할 수 없지만 여러 관찰 변수에 함께 영향을 준다고 가정하는 변수
기본 생각: 여러 변수가 서로 상관된 이유는 그 변수들이 같은 원인(공통 요인)의 영향을 받기 때문
- 예: 어휘, 독해, 작문 점수가 함께 높거나 낮은 이유 → 공통의 "언어 능력"
요인이 $m$ 개일 때 표준화한 관찰 변수 $x_{j}$ 의 모형

왼쪽의 잠재 요인 F에서 적재량 λ1λ4가 붙은 화살표가 관찰 변수 x1x4로 향하고, 오른쪽의 고유 오차 ε1~ε4도 각 관찰 변수로 화살표를 보내는 요인 분석 구조

동그라미: 직접 관찰하지 않는 변수(잠재 요인, 고유 오차)
네모: 직접 측정한 관찰 변수
화살표가 요인에서 변수로 향함: 요인이 원인, 관찰 변수는 결과

요인 분석의 수학적 정의

x_{j} = λ_{j 1} F_{1} + λ_{j 2} F_{2} + \dots + λ_{j m} F_{m} + ε_{j}

요인 적재량(factor loading) $λ_{j k}$ : 요인 $F_{k}$ 가 변수 $x_{j}$ 에 미치는 영향의 크기
고유 오차(unique error) $ε_{j}$ : 공통 요인으로 설명되지 않는, 변수 $x_{j}$ 만의 부분
- 측정 오차와 그 문항만의 특수한 성질을 포함
표준화한 변수의 분산 1은 두 부분으로 나뉨(요인끼리 상관이 없는 경우)
- 공통성(communality) $h_{j}^{2} = λ_{j 1}^{2} + \dots + λ_{j m}^{2}$ : 공통 요인이 설명하는 분산
- 고유 분산(uniqueness) $ψ_{j} = 1 - h_{j}^{2}$ : 고유 오차의 분산

심리학적 배경

요인 분석은 심리학에서 직접 볼 수 없는 마음의 특성을 측정하려는 과정에서 발전
스피어먼(Spearman, 1904): 일반 지능
- 학생들의 여러 과목 성적이 서로 모두 양의 상관을 보임
- 이 상관을 하나의 공통 요인인 일반 지능(general intelligence, $g$ )으로 설명
서스톤(Thurstone, 1930년대): 다요인 분석
- 지능을 하나가 아닌 여러 기본 정신 능력(언어 이해, 수, 공간, 기억, 추리 등)으로 설명
- 각 변수가 소수의 요인에만 크게 걸리는 단순 구조(simple structure)를 해석의 기준으로 제시 → 요인 회전의 출발점
성격 5요인(Big Five)
- 어휘 가설: 중요한 성격 특성은 일상 언어의 형용사로 표현되어 있다는 가정
- 성격 형용사에 대한 평정 자료를 요인 분석해서 개방성, 성실성, 외향성, 우호성, 신경증의 5요인을 도출
심리 척도 개발
- 구성개념(construct): 불안, 자존감, 만족도처럼 이론적으로 정의한 심리적 특성
- 여러 문항이 의도한 구성개념별로 묶이는지 확인
- 탐색적 요인 분석(exploratory factor analysis, EFA): 자료에서 요인 구조를 찾음
- 확인적 요인 분석(confirmatory factor analysis, CFA): 이론으로 정한 요인 구조가 자료에 맞는지 검증

주성분 분석의 구조

P C_{k} = w_{1 k} x_{1} + w_{2 k} x_{2} + \dots + w_{p k} x_{p}

주성분 $P C_{k}$ 는 관찰 변수 $x_{1}, \dots, x_{p}$ 에 가중치 $w$ 를 곱해 더한 가중합
오차항이 없음: 주성분은 관찰 변수에서 정확히 계산되는 값

관찰 변수 x1~x4에서 나온 화살표가 오른쪽의 주성분 PC1과 PC2로 각각 모이고, PC2 아래 세로 점으로 주성분이 더 있음을 나타낸 주성분 분석 구조. 오차항이 없음

화살표가 변수에서 성분으로 향함: 성분은 변수들을 요약한 결과
요인 분석 그림과 화살표 방향이 정반대

FA와 PCA의 비교

구분	주성분 분석(PCA)	요인 분석(FA)
목적	정보를 최대한 보존하면서 변수 수 축소	변수 간 상관을 만드는 잠재 요인 탐색
화살표 방향	변수 → 성분	요인 → 변수
설명하는 분산	각 변수의 전체 분산	변수들이 함께 갖는 공통 분산
오차항	없음	변수마다 고유 오차
점수	가중합으로 정확히 계산	자료에서 추정
주된 쓰임	전처리, 시각화, 데이터 압축	심리 척도 개발, 구성개념 탐색

공통점
- 여러 변수를 소수의 새로운 축으로 요약
- 적재량을 보고 각 축의 의미를 해석
- 해석을 쉽게 하려고 회전을 적용 가능
차이의 핵심: 고유 오차를 따로 떼어 내는가
- PCA는 측정 오차까지 포함한 전체 분산을 성분에 담음
- FA는 공통 요인과 고유 오차를 구분해서, 여러 변수가 함께 변하는 부분만 요인으로 설명
결과가 비슷해지는 경우: 변수가 많고 공통성이 높으면(고유 분산이 작으면) 두 방법의 적재량이 비슷
선택 기준
- 변수를 줄여 다른 분석이나 시각화에 쓰는 것이 목적 → PCA
- 측정 도구 뒤에 있는 심리적 특성을 찾고 해석하는 것이 목적 → FA
주성분 회전 실습의 FactorAnalyzer(method="principal")
- 클래스 이름은 FactorAnalyzer지만, 고유 오차를 따로 추정하지 않으므로 사실상 PCA
- 회전 후 누적 분산 설명력이 PCA와 같은 93.5%였던 이유
- 공통 요인 모형으로 추정하려면 method를 "minres"(기본값)나 "ml"(최대우도)로 지정

퀴즈

문제 1 / 5맞음: 0힌트: 0틀림: 0채점중: 0남음: 5

요인 분석에서 잠재 요인에 대한 설명으로 가장 적절한 것은?

○직접 측정할 수 없지만 여러 관찰 변수에 함께 영향을 준다고 가정하는 변수
○설문 문항처럼 직접 측정한 변수
○관찰 변수에서 공통 요인으로 설명되지 않는 부분
○관찰 변수에 가중치를 곱해 더한 값

퀴즈를 풀려면 대화형 기능을 불러와야 합니다.

요인 분석에서 잠재 요인에 대한 설명으로 가장 적절한 것은?

지능이나 외향성처럼 눈에 보이지 않지만 여러 문항 점수에 함께 드러나는 특성을 떠올려 보세요.

직접 측정할 수 없지만 여러 관찰 변수에 함께 영향을 준다고 가정하는 변수설문 문항처럼 직접 측정한 변수관찰 변수에서 공통 요인으로 설명되지 않는 부분관찰 변수에 가중치를 곱해 더한 값

직접 측정할 수 없지만 여러 관찰 변수에 함께 영향을 준다고 가정하는 변수

여러 과목 성적 사이의 양의 상관을 하나의 공통 요인인 일반 지능( $g$ )으로 설명한 심리학자는?

이 연구자는 지능을 하나의 요인으로 보았고, 이후 다른 연구자가 여러 기본 정신 능력으로 확장했습니다.

스피어먼서스톤피어슨

스피어먼

경로 그림에서 요인 분석과 주성분 분석의 화살표 방향을 바르게 짝지은 것은?

요인 분석에서 요인은 원인이고, 주성분은 변수들을 요약한 결과입니다.

요인 분석: 요인 → 변수, 주성분 분석: 변수 → 성분요인 분석: 변수 → 요인, 주성분 분석: 성분 → 변수두 방법 모두 변수 → 요인(성분)두 방법 모두 요인(성분) → 변수

요인 분석: 요인 → 변수, 주성분 분석: 변수 → 성분

요인 분석(FA)과 비교한 주성분 분석(PCA)의 특징으로 맞는 것을 모두 고르세요.

고유 오차를 떼어 내고 공통 분산만 다루는 쪽이 어느 방법인지 생각해 보세요.

오차항이 없다각 변수의 전체 분산을 설명 대상으로 삼는다변수마다 고유 오차를 따로 추정한다공통 분산만 설명 대상으로 삼는다

오차항이 없다, 각 변수의 전체 분산을 설명 대상으로 삼는다

새로 만든 불안 척도의 문항들이 의도한 하위 특성별로 묶이는지 확인하려고 한다. 더 알맞은 방법은?

문항 점수 뒤에 있는 잠재적인 심리 특성을 찾는 것이 목적입니다.

요인 분석주성분 분석문항별 평균 비교

요인 분석