K-Means 군집 수 결정

군집 수 선택 방법

K-Means는 분석 전에 군집 수를 먼저 결정할 필요
실제로는 다양한 $K$ 개의 군집 수로 분석을 한 후, 적절한 군집 수를 선택
군집 수를 변화시켜 가며 지표가 가장 좋은 지점을 선택
- 관성의 그래프를 그려서 그래프가 꺾이는 군집 수를 선택
- 실루엣 계수가 가장 높아지는 군집 수를 선택
해석 가능성: 각 군집을 도메인 지식으로 설명할 수 있는지

관성(inertia)

K-Means에서 자주 쓰는 평가 지표
각 데이터가 자신이 속한 군집 중심에서 얼마나 떨어져 있는지를 제곱해 모두 더한 값
관성이 작을수록 군집 내부가 더 조밀하다는 뜻
단, 군집 수를 늘리면 관성은 거의 항상 작아지므로 단독 기준으로 쓰기 어려움

수식으로 보는 관성

Inertia = k = 1 \sum K x_{i} \in C_{k} \sum ∥ x_{i} - μ_{k} ∥^{2}

$C_{k}$ : $k$ 번째 군집에 속한 데이터의 집합
$μ_{k}$ : $k$ 번째 군집의 중심점. 군집에 속한 데이터의 평균 $μ_{k} = \frac{1}{∣ C _{k} ∣} x_{i} \in C_{k} \sum x_{i}$
$∥ x_{i} - μ_{k} ∥^{2}$ : 데이터 $x_{i}$ 와 중심점 $μ_{k}$ 사이 유클리드 거리의 제곱. 변수가 여러 개이면 변수별 차이의 제곱을 모두 더한 값
K-Means는 바로 이 값을 줄여 나가는 알고리즘
- 배정 단계: 각 $x_{i}$ 를 가장 가까운 $μ_{k}$ 에 배정하면 관성이 줄거나 같음
- 갱신 단계: $μ_{k}$ 를 군집의 평균으로 바꾸면 관성이 줄거나 같음
- 두 단계를 반복하면 관성이 더 줄지 않는 지점에서 멈춤
$K = 1$ 이면 중심점은 전체 평균이고, 관성은 전체 데이터의 편차 제곱합
- 표준화한 데이터는 변수마다 편차 제곱합이 사례 수와 같으므로, $K = 1$ 의 관성은 사례 수 × 변수 수
- 실습 데이터: $135 \times 7 = 945$
$K$ 를 늘릴수록 각 데이터가 더 가까운 중심점을 얻으므로 관성은 거의 항상 감소. $K$ 가 사례 수와 같으면 0

kmeans.inertia_  # 표준화한 데이터의 군집 내 거리 제곱합

실행 결과

68.47501571220504

군집 3개의 관성은 약 68.48
같은 데이터와 표준화 조건에서 다른 군집 수의 관성과 비교

엘보우 방법

🤖 AI 프롬프트

K=1부터 7까지의 관성을 표와 그래프로 비교하고, 적절한 군집 수를 선택해줘.

$K$ 를 1개부터 늘려가며 관성(inertia)을 계산
$K$ 가 늘면 관성이 줄지만, 어느 순간부터 개선 폭 감소
그래프가 급하게 내려가다 완만해지는 지점을 후보 $K$ 로 판단
실습 데이터에서는 $K = 3$ 부근의 변화 확인

inertia = []

for k in range(1, 8):
    km = KMeans(n_clusters=k, random_state=42, n_init=10).fit(X_scaled)
    inertia.append(km.inertia_)

pd.DataFrame({"n_clusters": range(1, 8), "inertia": inertia})

실행 결과

   n_clusters     inertia
0           1  945.000000
1           2  414.772130
2           3   68.475016
3           4   60.665505
4           5   53.623641
5           6   48.533510
6           7   45.817593

$K = 2$ 에서 $K = 3$ 으로 늘릴 때 관성은 약 414.77에서 68.48로 크게 감소
$K = 4$ 에서는 약 60.67로 감소 폭이 작아져 $K = 3$ 을 후보로 선택

import matplotlib.pyplot as plt
import seaborn as sns

plt.figure()
sns.lineplot(x=range(1, 8), y=inertia, marker="o")
plt.xlabel("Number of clusters (K)")
plt.ylabel("Inertia")

군집 수에 따른 선박 데이터의 관성 변화

실루엣 계수(silhouette score)

🤖 AI 프롬프트

K=2부터 7까지의 실루엣 계수를 표와 그래프로 비교하고 적절한 군집 수를 선택해줘.

각 데이터가 같은 군집에는 얼마나 가깝고 다른 군집에는 얼마나 먼지 평가
값의 범위는 $- 1$ 부터 $1$
- $1$ 에 가까울수록 군집 내부는 조밀하고 군집 사이는 잘 분리됨
- $0$ 에 가까우면 군집 경계가 서로 겹침
- 음수이면 다른 군집에 더 가까운 데이터가 있을 수 있음
여러 $K$ 의 실루엣 계수를 비교하되 엘보우 결과와 해석 가능성도 함께 고려

수식으로 보는 실루엣 계수

데이터 $x_{i}$ 하나에 대해 두 가지 거리를 계산:

$a (i)$ : $x_{i}$ 와 같은 군집에 속한 다른 모든 데이터 사이의 평균 거리. 군집 내부의 응집도 $a (i) = \frac{1}{∣ C _{I} ∣ - 1} j \in C_{I}, j \neq = i \sum d (x_{i}, x_{j})$
$b (i)$ : $x_{i}$ 와 다른 군집의 데이터 사이 평균 거리를 군집마다 구한 뒤, 그중 가장 작은 값. 가장 가까운 이웃 군집까지의 거리 $b (i) = J \neq = I min \frac{1}{∣ C _{J} ∣} j \in C_{J} \sum d (x_{i}, x_{j})$

데이터 $x_{i}$ 의 실루엣 계수:

s (i) = \frac{b ( i ) - a ( i )}{max { a ( i ) , b ( i )}}

$a (i) ≪ b (i)$ : 자기 군집에는 가깝고 이웃 군집에는 멀다는 뜻. $s (i)$ 는 1에 가까움
$a (i) \approx b (i)$ : 두 군집 사이의 경계에 있음. $s (i)$ 는 0에 가까움
$a (i) > b (i)$ : 이웃 군집이 자기 군집보다 더 가까움. $s (i)$ 는 음수이며, 잘못 배정됐을 가능성
분모를 $max$ 로 두어 값이 항상 $- 1$ 과 $1$ 사이에 오도록 정규화
군집에 데이터가 하나뿐이면 $a (i)$ 를 정의할 수 없으므로 $s (i) = 0$ 으로 둠

전체 실루엣 계수(silhouette_score)는 모든 데이터의 $s (i)$ 를 평균한 값:

S = \frac{1}{n} i = 1 \sum n s (i)

관성과 달리 군집 사이의 거리 $b (i)$ 를 함께 보므로, $K$ 를 늘린다고 무조건 좋아지지 않음
모든 데이터 쌍의 거리가 필요하므로 데이터가 많으면 계산 비용이 큼

from sklearn.metrics import silhouette_score

silhouette_scores = []

for k in range(2, 8):
    labels = KMeans(
        n_clusters=k, random_state=42, n_init=10
    ).fit_predict(X_scaled)
    silhouette_scores.append(silhouette_score(X_scaled, labels))

pd.DataFrame({
    "n_clusters": range(2, 8),
    "silhouette_score": silhouette_scores,
})

실행 결과

   n_clusters  silhouette_score
0           2          0.572614
1           3          0.761804
2           4          0.591116
3           5          0.418261
4           6          0.233808
5           7          0.212440

비교한 $K$ 중 $K = 3$ 의 실루엣 계수가 약 0.7618로 가장 높음
엘보우 결과와 함께 보면 군집 3개가 적절한 후보

plt.figure()
sns.lineplot(x=range(2, 8), y=silhouette_scores, marker="o")
plt.xlabel("Number of clusters (K)")
plt.ylabel("Silhouette score")

군집 수에 따른 선박 데이터의 실루엣 계수 비교

퀴즈

문제 1 / 6맞음: 0힌트: 0틀림: 0채점중: 0남음: 6

K-Means의 관성(inertia)에 대한 설명으로 가장 적절한 것은?

○각 데이터가 자신이 속한 군집 중심에서 떨어진 거리를 제곱해 모두 더한 값
○군집별 정답 라벨의 평균 정확도
○데이터를 표준화하기 전의 변수 개수
○분류 모델에서 양성 클래스의 비율

퀴즈를 풀려면 대화형 기능을 불러와야 합니다.

K-Means의 관성(inertia)에 대한 설명으로 가장 적절한 것은?

관성은 군집 내부가 얼마나 조밀한지를 보는 K-Means 평가 지표입니다.

각 데이터가 자신이 속한 군집 중심에서 떨어진 거리를 제곱해 모두 더한 값군집별 정답 라벨의 평균 정확도데이터를 표준화하기 전의 변수 개수분류 모델에서 양성 클래스의 비율

각 데이터가 자신이 속한 군집 중심에서 떨어진 거리를 제곱해 모두 더한 값

관성만으로 군집 수를 정하기 어려운 이유로 가장 적절한 것은?

각 데이터가 더 가까운 중심점을 얻을수록 관성은 줄어듭니다. $K$ 가 사례 수와 같으면 관성은 0입니다.

군집 수를 늘리면 관성은 거의 항상 작아지므로, 관성이 가장 작은

K

를 고르면 군집 수가 데이터 수만큼 커진다관성은 군집 수가 늘어나면 항상 커지기 때문에관성은 정답 라벨이 있어야만 계산할 수 있기 때문에관성은 표준화하지 않은 데이터에서만 계산되기 때문에

군집 수를 늘리면 관성은 거의 항상 작아지므로, 관성이 가장 작은

K

를 고르면 군집 수가 데이터 수만큼 커진다

엘보우 방법의 핵심 아이디어로 가장 적절한 것은?

그래프가 급하게 내려가다가 완만해지는 팔꿈치 모양 지점을 찾습니다.

K

를 늘릴 때 관성 감소 폭이 급격히 줄어드는 지점을 후보 군집 수로 본다군집 수를 무조건 데이터 개수와 같게 만든다정답 라벨이 가장 많은 클래스를 군집 수로 정한다표준편차가 1이 되는 변수만 남긴다

K

를 늘릴 때 관성 감소 폭이 급격히 줄어드는 지점을 후보 군집 수로 본다

실루엣 계수에 대한 설명으로 가장 적절한 것은?

같은 군집까지의 거리와 가장 가까운 다른 군집까지의 거리를 비교하는 지표입니다.

1에 가까울수록 군집 내부는 조밀하고 서로 다른 군집은 잘 분리되어 있다0에 가까울수록 모든 데이터가 하나의 군집 중심과 정확히 일치한다음수에 가까울수록 군집 사이의 분리가 더 뚜렷하다군집 수를 늘리면 관성처럼 항상 일정하게 감소한다

1에 가까울수록 군집 내부는 조밀하고 서로 다른 군집은 잘 분리되어 있다

어떤 데이터의 실루엣 계수가 0에 가깝다면 어떤 상황인가요?

실루엣 계수는 $b (i) - a (i)$ 를 $max {a (i), b (i)}$ 로 나눈 값입니다.

같은 군집까지의 평균 거리와 가장 가까운 다른 군집까지의 평균 거리가 비슷해, 두 군집의 경계에 있다자신이 속한 군집의 중심점과 정확히 일치한다다른 모든 군집에서 매우 멀리 떨어져 있다정답 라벨과 군집 번호가 같다

같은 군집까지의 평균 거리와 가장 가까운 다른 군집까지의 평균 거리가 비슷해, 두 군집의 경계에 있다

K-Means의 군집 수 $K$ 를 정할 때 함께 고려할 기준으로 적절한 것을 모두 고르세요.

지표 하나만으로 결정하기보다 여러 기준을 함께 봅니다. 관성이 0이 되는 $K$ 는 데이터 수와 같습니다.

엘보우 방법: 관성 감소 폭이 완만해지는 지점실루엣 계수: 군집 내부 응집과 군집 사이 분리가 가장 좋은 지점해석 가능성: 각 군집을 도메인 지식으로 설명할 수 있는지관성이 0이 되는

K

엘보우 방법: 관성 감소 폭이 완만해지는 지점, 실루엣 계수: 군집 내부 응집과 군집 사이 분리가 가장 좋은 지점, 해석 가능성: 각 군집을 도메인 지식으로 설명할 수 있는지