활성화 함수

활성화 함수 activation function

뉴런은 입력의 선형 결합 $z$ 를 계산한 뒤 활성화 함수 $g$ 를 적용해 출력 $a$ 를 만듦.

z = i \sum w_{i} x_{i} + b, a = g (z)

비선형성 도입: 신경망이 곡선 형태의 복잡한 결정 경계를 표현하도록 함
출력 변환: 값을 특정 범위로 제한하거나 필요한 형태로 변환
- 모든 활성화 함수가 출력 범위를 제한하는 것은 아님. ReLU의 양수 출력에는 상한이 없음
역전파: 학습 구간에서 미분 또는 준미분(subgradient)을 계산할 수 있어야 함
- ReLU는 0에서 미분되지 않지만, 구현에서는 기울깃값을 정해 역전파
- 계단 함수(step function)는 거의 모든 구간에서 기울기가 0이므로 은닉층 학습에 부적합
주요 함수: 시그모이드(sigmoid), 소프트맥스(softmax), 쌍곡탄젠트(tanh), ReLU와 그 변형

활성화 함수 없이 두 선형층을 연결하면 하나의 아핀 변환으로 합칠 수 있음.

z_{1} z_{2} = W_{1} x + b_{1} = W_{2} z_{1} + b_{2} = (W_{2} W_{1}) x + (W_{2} b_{1} + b_{2})

따라서 선형층을 여러 개 쌓아도 표현력은 하나의 선형층과 같음. 층 사이에 비선형 함수 $g$ 를 넣어야 하나의 선형 변환으로 합칠 수 없고, 복잡한 패턴을 표현 가능.

z_{2} = W_{2} g (W_{1} x + b_{1}) + b_{2}

σ (x) = (1 + e^{- x})^{- 1}, σ^{'} (x) = σ (x) (1 - σ (x))

출력 범위: $(0, 1)$
이항 분류의 출력층에서 확률을 표현할 때 주로 사용
포화 saturation
- 입력의 절댓값이 크면 함수의 양쪽 끝에서 경사가 거의 0 → 사라지는 경사
- 입력값이 변하더라도 출력값에 거의 차이가 없음
중심이 0이 아님 not zero-centered
- 이전 층의 출력이 모두 양수이면, 한 뉴런으로 들어오는 가중치 경사의 부호가 같은 방향으로 묶이기 쉬움
- 최적점으로 곧장 이동하지 못하고 지그재그로 이동해 학습이 느려질 수 있음

f = i \sum w_{i} x_{i} + b

\frac{df}{d w _{i}} = x_{i}

\frac{d L}{d w _{i}} = \frac{d L}{df} \frac{df}{d w _{i}} = \frac{d L}{df} x_{i}

로지스틱 함수는 출력이 $(0, 1)$ 범위 → 다음 레이어의 모든 입력 $x_{i}$ 가 양수
$x_{i}$ 는 $w_{i}$ 로 $f$ 를 미분한 값
하나의 학습 사례에서 가중치 $w_{i}$ 에 대해 손실 함수 $L$ 을 미분하면 부호가 $d L / df$ 와 같아짐
- 미니배치에서는 사례별 경사가 합쳐지므로 모든 가중치의 최종 경사가 항상 같은 부호라는 뜻은 아님

tanh (x) = 2 σ (2 x) - 1

쌍곡탄젠트 함수 그래프

f (x) = max (0, x) = {0 x x < 0 x \geq 0

출력의 중심이 0이 아닌 not zero-centered 함수
계산이 간단해 은닉층에 흔히 사용
$x > 0$ 에서 기울기가 1이므로 양수 영역의 포화 문제를 완화
$x = 0$ 에서는 미분되지 않지만 학습 구현에서는 기울깃값을 정해 처리
$x < 0$ 에서는 출력과 기울기가 모두 0
- 뉴런의 입력이 계속 음수이면 가중치가 더 이상 학습되지 않는 죽은 ReLU(dead ReLU) 발생 가능
- 지나치게 높은 학습률은 죽은 ReLU의 위험을 높일 수 있음
Leaky ReLU, GELU 등의 보완된 버전들이 있음. → 죽은 ReLU를 완화

ReLU 함수 그래프

출력층의 활성화 함수는 예측 대상과 손실 함수에 맞춰 선택. 은닉층과 출력층이 반드시 같은 활성화 함수를 사용할 필요는 없음.