CNN의 다양한 구조
- LeNet-5
- AlexNet
- VGGNet
- GoogLeNet
- ResNet
LeNet-5
AlexNet
- 2012년 ImageNet Large Scale Visual Recognition Challenge (ILSVRC)에서 1위를 하여 딥러닝 유행을 선도
- 특징:
- ReLU
- Dropout
- Weight regularization
VGGNet
- 합성곱 레이어는 모두 3x3 크기
- 풀링 레이어는 모두 2x2 크기
- 3x3 합성곱 2개는 5x5 합성곱와 receptive field 크기가 같으나 파라미터의 수가 더 적고, 1개의 레이어 대신 2개의 레이어를 사용하므로 비선형성을 추가할 수 있음
GoogLeNet
- Inception 모듈이라는 구조를 포함
- 합성곱 레이어를 직렬이 아닌 병렬로 연결
1x1 Conv. Layer
- 피처맵의 크기는 같음
- 채널의 수를 줄이는 효과
- 1x1 합성곱 레이어를 통해 채널의 크기를 줄여 계산량을 감소시킴
- 인셉션 모듈의 다른 경로에도 1x1 합성곱을 추가하여 출력 채널을 줄임
ResNet Residual Network
- skip connection: 레이어를 건너 뛰는 경로를 만듦
- 최소한 이전 레이어에서 학습된 만큼의 성능은 보장
- 사라지는 경사 문제를 완화하고, 깊은 네트워크에서도 안정적인 학습이 가능
- 신경망의 깊이를 늘려도 학습이 잘 되므로 성능이 향상
