혼동 행렬

import os

os.environ["KERAS_BACKEND"] = "torch"

import keras
import numpy as np
from sklearn.metrics import (
    accuracy_score,
    confusion_matrix,
    f1_score,
    precision_score,
    recall_score,
)

def filter_binary(x, y, neg_cls, pos_cls):
    cond = (y == neg_cls) | (y == pos_cls)
    x_bin = x[cond]
    y_bin = np.where(y[cond] == neg_cls, 0, 1)
    return x_bin, y_bin

(x_train, y_train), (x_test, y_test) = (
    keras.datasets.fashion_mnist.load_data()
)

x_train.shape  # 훈련 이미지 형태

y_train.shape  # 훈련 레이블 형태

x_test.shape  # 테스트 이미지 형태

y_test.shape  # 테스트 레이블 형태

x_train_binary, y_train_binary = filter_binary(
    x_train, y_train, 2, 6  # 스웨터는 0, 셔츠는 1로 변환
)
x_test_binary, y_test_binary = filter_binary(
    x_test, y_test, 2, 6
)

x_train_binary.shape  # 이항 분류 훈련 이미지 형태

y_train_binary.shape  # 이항 분류 훈련 레이블 형태

x_test_binary.shape  # 이항 분류 테스트 이미지 형태

y_test_binary.shape  # 이항 분류 테스트 레이블 형태

y_train_binary[:5]  # 변환한 훈련 레이블 일부

keras.utils.set_random_seed(812)  # 실행 결과 재현용 난수 초기값

model = keras.models.Sequential(
    [
        keras.layers.Rescaling(1 / 255),  # 픽셀값을 0~1 범위로 변환
        keras.layers.Flatten(),  # 28×28 이미지를 길이 784의 벡터로 변환
        keras.layers.Dense(1, activation="sigmoid"),  # 셔츠일 확률 하나를 출력
    ]
)

model.compile(
    optimizer=keras.optimizers.SGD(learning_rate=0.001),
    loss="binary_crossentropy",
    metrics=["accuracy"],
)

history = model.fit(
    x_train_binary,
    y_train_binary,
    epochs=5,
    batch_size=32,
)

y_prob = model.predict(x_test_binary).reshape(-1)
y_prob[:5]  # 양성 확률 일부

y_true = y_test_binary
y_true[:5]  # 실제 정답 일부

threshold_05 = 0.5  # 기본 문턱값
y_pred_05 = np.where(y_prob >= threshold_05, 1, 0)
y_pred_05[:5]  # 문턱값 0.5의 예측 일부

cm_05 = confusion_matrix(y_true, y_pred_05)
cm_05

accuracy_05 = accuracy_score(y_true, y_pred_05)
accuracy_05  # 정확도

precision_05 = precision_score(y_true, y_pred_05)
precision_05  # 정밀도

recall_05 = recall_score(y_true, y_pred_05)
recall_05  # 재현도

specificity_05 = recall_score(y_true, y_pred_05, pos_label=0)
specificity_05  # 특이도

f1_05 = f1_score(y_true, y_pred_05)
f1_05  # F1 점수