logo

[딥러닝] 활성화 함수

 

활성화 함수 깊이 알아보기

 

1. 활성화 함수란?

활성화 함수(Activation Function)는 인공 신경망에서 입력 신호의 총합을 출력 신호로 변환하는 함수입니다. 이 함수는 일반적으로 비선형 형태를 가지며, 신경망의 각 층 사이에서 비선형성을 도입하는 역할을 합니다. 비선형 활성화 함수 덕분에 딥러닝 모델은 선형 모델이 다룰 수 없는 복잡한 문제를 해결할 수 있게 됩니다.

 

2. 활성화 함수의 종류

다양한 활성화 함수가 있으며, 여기서는 몇 가지 주요 활성화 함수에 대해 설명하고 코드 예시를 제공하겠습니다.

(1) 시그모이드 함수 (Sigmoid)

시그모이드 함수는 출력값을 0과 1 사이로 제한합니다. 이는 이진 분류 문제에서 유용하게 사용될 수 있습니다.

σ(x)=11+e−x \sigma(x) = \frac{1}{1 + e^{-x}} 
import torch
import torch.nn as nn

class SigmoidActivation(nn.Module):
    def __init__(self):
        super(SigmoidActivation, self).__init__()
        self.sigmoid = nn.Sigmoid()

    def forward(self, x):
        return self.sigmoid(x)

x = torch.randn((1,))
print("Sigmoid Activation:", SigmoidActivation()(x))

(2) 렐루 함수 (ReLU)

렐루 함수는 음수를 0으로 변환하고, 양수는 그대로 유지하는 함수입니다. 이 함수는 계산 효율성 때문에 널리 사용됩니다.

ReLU(x)=max(0,x) ReLU(x) = max(0, x) 
class ReLUActivation(nn.Module):
    def __init__(self):
        super(ReLUActivation, self).__init__()
        self.relu = nn.ReLU()

    def forward(self, x):
        return self.relu(x)

x = torch.randn((1,))
print("ReLU Activation:", ReLUActivation()(x))

(3) 탄젠트 함수 (Tanh)

탄젠트 함수는 시그모이드 함수와 유사하나, 출력 범위가 -1에서 1로 확장됩니다. 이는 데이터를 중심점인 0을 중심으로 정규화시키고 싶을 때 유용합니다.

tanh⁡(x)=ex−e−xex+e−x \tanh(x) = \frac{e^{x} - e^{-x}}{e^{x} + e^{-x}} 
class TanhActivation(nn.Module):
    def __init__(self):
        super(TanhActivation, self).__init__()
        self.tanh = nn.Tanh()

    def forward(self, x):
        return self.tanh(x)

x = torch.randn((1,))
print("Tanh Activation:", TanhActivation()(x))
 

3. 활성화 함수 선택 시 고려사항

활성화 함수를 선택할 때 고려해야 할 몇 가지 사항은 다음과 같습니다.

  • 문제의 종류: 이진 분류 문제는 시그모이드 함수와 같이 출력값이 0과 1 사이인 활성화 함수가 적합합니다. 반면, 회귀 문제나 다중 클래스 분류 문제는 다른 활성화 함수의 선택을 요구할 수 있습니다.
  • 그라디언트 소멸 문제: 일부 활성화 함수, 특히 시그모이드나 탄젠트 함수는 깊은 신경망에서 그라디언트 소멸 문제를 일으킬 수 있습니다. 이런 경우 렐루 함수나 그 변형들이 좋은 대안이 될 수 있습니다.
  • 연산 효율성: 실용적인 측면에서 볼 때, 계산 비용이 낮은 활성화 함수를 선호할 수 있습니다. 예를 들어, ReLU 함수는 Sigmoid나 Tanh 함수에 비해 계산이 간단합니다.

활성화 함수의 선택은 모델의 성능에 직접적인 영향을 미칩니다. 따라서 사용할 데이터와 문제에 대한 이해를 바탕으로 적절한 활성화 함수를 선택하는 것이 중요합니다.

활성화 함수란 신경망의 기본 요소 중 하나로, 입력 신호의 총합을 출력 신호로 변환하는 함수입니다. 다시 말해, 활성화 함수는 신경망 내의 개별 뉴런에서 결정된 입력값의 합에 대해 최종 출력값을 결정하는 역할을 수행합니다. 이 함수는 일종의 비선형 변환 과정을 통해 입력 데이터의 복잡한 특징과 패턴을 학습할 수 있게 도와줍니다.

 

선형성과 비선형성의 개념

선형성이란, 시스템의 출력이 입력의 선형 조합으로 표현될 수 있는 특성을 말합니다. 즉, 입력에 대해 비례하여 증가하는 직선적인 관계를 의미합니다. 이와 대비되는 개념이 비선형성입니다. 대부분의 현실 세계의 데이터는 선형으로 단순히 표현이 불가능하며, 그 복잡성을 모델링하기 위해서는 비선형 함수가 필요합니다.

 

활성화 함수의 중요성

활성화 함수가 없다면, 신경망은 입력층에서 출력층으로의 단순한 선형 변환(Liner Transformation)기만 수행하게 됩니다. 이는 신경망이 복잡한 문제, 특히 비선형 문제를 해결하는 데 있어서 매우 제한적일 것임을 의미합니다. 활성화 함수를 도입함으로써 신경망은 복잡한 비선형 문제를 해결할 수 있게 되며, 이를 통해 이미지 인식, 자연어 처리, 음성 인식과 같은 고도의 문제를 모델링할 수 있게 됩니다.

활성화 함수의 비선형 특성 덕분에 신경망은 이론적으로는 어떤 함수든 근사화 할 수 있는 강력한 능력을 갖게 됩니다. 즉, 소위 말하는 "universal function approximators"가 될 수 있다는 것입니다.

 

예시: PyTorch를 이용한 활성화 함수 적용

PyTorch는 다양한 활성화 함수를 제공합니다. 예를 들어, 가장 널리 사용되는 비선형 활성화 함수 중 하나인 ReLU(Rectified Linear Unit) 함수를 신경망 모델에 적용하는 방법은 다음과 같습니다.

import torch
import torch.nn as nn

# ReLU 활성화 함수 적용 예시
relu = nn.ReLU()
x = torch.tensor([-1.0, 1.0, 2.0], requires_grad=True)
y = relu(x)

print(y)  # 결과: tensor([0., 1., 2.], grad_fn=<ReluBackward0>)

위 코드에서 nn.ReLU()는 ReLU 활성화 함수를 생성하고, 텐서 x에 대해 이를 적용합니다. ReLU 함수는 입력이 0보다 작으면 0을, 0보다 크면 그 입력값을 그대로 출력합니다. 이러한 비선형 변환을 통해 모델은 더욱 복잡하고 다양한 데이터 패턴을 학습할 수 있게 됩니다.

활성화 함수를 신중하게 선택하고 적용함으로써, 딥러닝 모델의 성능을 극대화하고, 각종 비선형 문제에 대해 효과적으로 대응할 수 있습니다.

 

선형 활성화 함수

선형 활성화 함수는 입력값에 대해 비례한 출력값을 반환하는 가장 간단한 형태의 활성화 함수입니다. 예를 들어, 가장 기본적인 형태의 선형 활성화 함수는 f(x) = x 입니다. 이는 입력된 값을 그대로 출력합니다.

선형 활성화 함수의 한계점

선형 활성화 함수는 출력이 입력의 선형 조합만으로 이루어져 있기 때문에 복잡한 문제 해결에는 적합하지 않습니다. 실제로, 여러 층으로 구성된 신경망에서 모든 층이 선형 활성화 함수를 사용한다면, 이를 결합하여도 여전히 선형 함수 하나로 표현 가능하기 때문에, 이는 딥러닝 모델의 표현력을 제한합니다.

 

비선형 활성화 함수

비선형 활성화 함수는 선형 활성화 함수의 한계를 극복하고, 신경망이 복잡한 문제를 해결할 수 있도록 합니다. 비선형 활성화 함수를 사용함으로써 신경망은 더 강력한 표현력을 가지게 되며, 복잡한 함수를 모델링할 수 있게 됩니다.

시그모이드(Sigmoid)

시그모이드 함수는 f(x) = 1 / (1 + e^(-x))로 정의됩니다. 이 함수는 출력값을 0과 1사이로 제한합니다. 시그모이드 함수는 이전에는 이진 분류 문제에서 출력층에 널리 사용되었습니다.

시그모이드 함수의 장단점
  • 장점: 출력값이 (0,1) 범위에 있어 확률로 해석하기 적합합니다.
  • 단점: 그래디언트 소실 문제(Vanishing Gradient Problem)가 발생할 수 있으며, 지수 함수 계산으로 인해 연산 비용이 비교적 높습니다.

하이퍼볼릭 탄젠트(Tanh)

Tanh 함수는 f(x) = (e^(x) - e^(-x)) / (e^(x) + e^(-x))로 정의되며, 출력 범위가 (-1,1)입니다. 이는 데이터의 중심을 0으로 맞춰주는 효과가 있어 학습을 용이하게 만들어줍니다.

Tanh 함수의 장단점
  • 장점: 시그모이드 함수에 비해 출력 범위가 넓어져 그래디언트 소실 문제가 상대적으로 덜 합니다.
  • 단점: 여전히 높은 지수함수 계산 비용이 있으며, 그래디언트 소실 문제를 완전히 해결하지는 못합니다.

렐루(ReLU)

ReLU 함수는 f(x) = max(0, x)로 정의되며, 음수 입력에 대해선 0을 출력하고, 양수 입력에 대해서는 입력값을 그대로 출력합니다.

ReLU 함수의 장단점
  • 장점: 계산이 매우 효율적이며, 실제로 많은 딥러닝 모델에서 뛰어난 성능을 보여줍니다.
  • 단점: 입력값이 음수인 경우 그래디언트가 0이 되어 가중치가 업데이트 되지 않는 죽은 뉴런 문제가 발생할 수 있습니다.
변형된 ReLU 함수
  • Leaky ReLU: f(x) = x if x > 0 else alpha * x로 정의되어, x가 음수인 경우에도 아주 작은 기울기를 통해 값을 전달합니다.
  • Parametric ReLU: Leaky ReLU의 확장으로, alpha 값이 학습 가능한 매개변수가 됩니다.

소프트맥스(Softmax)

소프트맥스 함수는 다중 클래스 분류 문제에서 출력층에서 사용됩니다. 이 함수는 벡터를 입력으로 받아 각 클래스에 속할 확률을 출력합니다.

분류 문제에서 소프트맥스 함수의 역할

소프트맥스 함수는 출력값의 범위를 (0, 1)로 제한하며, 모든 출력값의 합이 1이 되도록 만듭니다. 이러한 특징 덕분에 모델의 출력을 확률로 해석할 수 있게 해, 다중 클래스 분류 문제에 적합합니다.

Pytorch 예시 코드

import torch
import torch.nn as nn

# ReLU 예시
relu = nn.ReLU()
input_tensor = torch.tensor([-1.0, 1.0, 0.0], requires_grad=True)
output_tensor = relu(input_tensor)
print(output_tensor)

# Softmax 예시
softmax = nn.Softmax(dim=0)
logits = torch.tensor([2.0, 1.0, 0.5])
probabilities = softmax(logits)
print(probabilities)

이러한 활성화 함수들은 딥러닝 모델의 비선형성을 도입해줌으로써 모델이 더욱 복잡한 패턴과 구조를 학습할 수 있도록 합니다.

 

활성화 함수 선택 시 고려사항

신경망을 설계할 때, 활성화 함수를 선택하는 것은 모델의 성능과 학습 능력에 큰 영향을 미칩니다. 적절한 활성화 함수를 선택하기 위해 고려해야 할 몇 가지 중요한 요소들이 있습니다.

문제의 종류 (회귀, 분류 등)

신경망의 출력층에서 사용되는 활성화 함수는 문제의 종류에 따라 달라질 수 있습니다. 예를 들어, 회귀 문제에는 종종 선형 활성화 함수(예: 항등 함수)를 사용하며, 분류 문제에는 주로 소프트맥스(다중 클래스 분류)나 시그모이드(이진 분류) 같은 비선형 활성화 함수를 사용합니다.

신경망의 깊이

깊은 신경망에서는 그래디언트 소실 또는 폭발 문제가 발생할 수 있으므로, 이를 완화시킬 수 있는 활성화 함수를 선택하는 것이 중요합니다. 예를 들어, ReLU(또는 그 변형)는 깊은 신경망에서 널리 사용되며, 그래디언트 소실 문제를 어느 정도 해결해줍니다.

과적합을 피하는 방법

과적합은 모델이 학습 데이터에 지나치게 적응해 새로운 데이터에 대해 제대로 일반화하지 못하는 현상입니다. 이를 방지하기 위해 드롭아웃과 같은 정규화 기법과 함께 적절한 활성화 함수를 사용하는 것이 좋습니다. 예를 들어, Leaky ReLU와 같은 변형된 ReLU 활성화 함수는 일부 뉴런이 완전히 비활성화되는 현상을 완화하여 과적합을 줄일 수 있습니다.

학습 속도에 미치는 영향

일부 활성화 함수는 다른 함수보다 더 빠른 학습을 가능하게 합니다. 예를 들어, ReLU와 그의 변형들은 S자형 함수(시그모이드, 하이퍼볼릭 탄젠트 등)에 비해 계산상의 이점이 있어, 보통 더 빠른 학습 속도를 보입니다.

 

PyTorch 예제 코드

PyTorch에서 활성화 함수를 사용하는 방법은 매우 간단합니다. 다음은 ReLU 활성화 함수를 사용하는 예제 코드입니다.

import torch
import torch.nn as nn

# 신경망 구조 정의
class NeuralNet(nn.Module):
    def __init__(self):
        super(NeuralNet, self).__init__()
        self.layer1 = nn.Linear(in_features=10, out_features=20)
        self.relu = nn.ReLU()
        self.layer2 = nn.Linear(in_features=20, out_features=1)

    def forward(self, x):
        x = self.layer1(x)
        x = self.relu(x)
        x = self.layer2(x)
        return x

# 모델, 입력 데이터 초기화
model = NeuralNet()
input_tensor = torch.randn(10)

# 순전파 실행
output = model(input_tensor)

이 예제에서는 nn.ReLU을 활성화 함수로 사용하여 중간층의 비선형 변환을 제공합니다. 다른 활성화 함수를 사용하고 싶다면, nn.ReLU 대신 nn.Sigmoid, nn.Tanh, nn.LeakyReLU 등을 사용할 수 있습니다.

활성화 함수 선택은 신경망의 성능과 학습 효율성에 상당한 영향을 미칩니다. 따라서 문제의 종류, 신경망의 구조, 과적합 방지, 학습 속도 등을 고려하여 가장 적합한 활성화 함수를 선택하는 것이 중요합니다.

Previous
다층 신경망
Next
손실 함수