뉴런과 퍼셉트론

생물학적 뉴런 neuron

뉴런은 동물의 신경계를 구성하는 세포. 수상돌기에서 다른 세포의 신호를 받고, 세포체에서 이를 통합하며, 축삭을 따라 다른 뉴런이나 근육으로 신호를 전달.

입력의 영향이 역치를 넘으면 활동 전위(action potential)가 발생. 활동 전위는 축삭을 따라 이동하고, 축삭 말단에서 다음 세포로 신호가 전달됨.

생물학적 뉴런과 인공 뉴런(artificial neuron)의 대응은 작동 원리를 이해하기 위한 비유.

인공 뉴런

인공 뉴런은 여러 입력의 가중합에 활성화 함수를 적용해 출력 생성.

$$z=\sum _{i=1}^n{w}_i{x}_i+b,a=f(z)$$

• 입력 $x_i$: 뉴런이 처리할 특성
• 가중치 $w_i$: 각 입력이 출력에 미치는 영향
• 편향 $b$: 결정 기준을 이동하는 값
• 활성화 함수 $f$: 가중합을 출력 $a$로 변환하는 함수

가중치와 편향은 데이터에서 학습하는 파라미터(parameter). 활성화 함수가 시그모이드이고 출력이 하나인 뉴런은 로지스틱 회귀와 같은 형태의 확률 모형.

퍼셉트론 perceptron

퍼셉트론은 계단 함수를 사용하는 이항 선형 분류기. 가중합 $z$가 기준을 넘는지에 따라 0 또는 1을 출력.

$$\hat{y}=\{\begin{array}{ll}1& z>0\\ 0& z\le 0\end{array}$$

두 입력을 사용하는 퍼셉트론의 결정 경계는 $w_1{x}_1+w_2{x}_2+b=0$인 직선. 이 직선의 양쪽을 서로 다른 클래스로 분류. 입력이 더 많으면 결정 경계는 고차원 초평면이 됨.

모형과 파라미터

모형(model)은 입력에서 출력을 만드는 수식이나 프로그램. 파라미터는 같은 모형 안에서 구체적인 함수의 모양을 결정하는 값.

예를 들어 2차 함수 $y=a{x}^2+bx+c$에서는 $a$, $b$, $c$가 파라미터. 값이 달라지면 같은 2차 함수 모형에서도 서로 다른 곡선 생성. 퍼셉트론에서는 가중치 $w_i$와 편향 $b$가 같은 역할.

단층 퍼셉트론의 한계

• 수학에서 A OR B는 A와 B 둘 다 참인 경우에도 참
• XOR(Exclusive OR): A 또는 B 둘 중에 하나만 참인 경우에 참
• 선형 분리할 수 없음 → 다층 신경망으로 해결

여러 뉴런을 층으로 연결하고 층 사이에 비선형 활성화 함수를 두면 더 복잡한 결정 경계를 표현 가능.

신경망의 학습과 경사하강법

현대 신경망은 예측 $\hat{y}$과 실제값 $y$의 차이를 손실 함수 $L$로 측정하고, 손실이 감소하는 방향으로 파라미터 $\theta$를 반복 수정.

$$\theta \leftarrow \theta -\eta {\nabla }_{\theta }L$$

고전 퍼셉트론의 계단 함수는 거의 모든 구간에서 기울기가 0이므로 경사하강법에 적합하지 않음. 현대 신경망은 미분 가능한 활성화 함수와 손실 함수를 사용.