U-Net

U-Net

• U-Net: 인코더와 디코더를 대칭에 가깝게 배치한 합성곱 신경망
• 2015년 생체의학 이미지 분할을 위해 제안
• 이름의 유래: 축소 경로와 확대 경로를 연결한 모양이 알파벳 U와 비슷하기 때문
• 핵심 구조:
  • 축소 경로: 이미지의 크기를 줄이며 넓은 범위의 문맥을 파악
  • 병목: 가장 압축된 특징에서 전체적인 구조를 처리
  • 확대 경로: 특징의 공간 해상도를 복원
  • 스킵 연결: 축소 경로의 세부 위치 정보를 확대 경로에 전달

• 파란색 상자: 여러 채널로 구성된 특징 맵

• 빨간색 아래쪽 화살표: 최대 풀링을 이용한 다운샘플링

• 초록색 위쪽 화살표: 업컨볼루션을 이용한 업샘플링

• 회색 가로 화살표: 같은 해상도 단계의 특징을 복사하는 스킵 연결

• 그림의 크기와 연산: 2015년 논문에서 사용한 원본 구조의 예시

  • 현대적인 U-Net 변형은 패딩, 잔차 블록, 어텐션 등 다른 구성을 사용할 수 있음

• 이미지 출처: 프라이부르크대학교 U-Net 공식 페이지

축소 경로 encoder

• 합성곱 연산으로 선, 모서리, 질감, 형태 등의 특징을 추출
• 다운샘플링을 반복하면서 특징 맵의 가로·세로 크기를 축소
• 깊은 단계로 갈수록 더 넓은 영역을 함께 관찰
  • 얕은 단계: 경계와 질감 같은 국소적 특징
  • 깊은 단계: 물체의 형태와 배치 같은 전역적 문맥
• 일반적으로 해상도가 줄어들수록 특징 채널 수를 늘려 더 다양한 패턴을 표현

축소 경로만 사용하면 이미지가 무엇을 나타내는지는 잘 파악할 수 있지만, 경계가 정확히 어디에 있었는지와 같은 위치 정보가 약해질 수 있음

확대 경로 decoder

• 업샘플링을 반복하여 특징 맵의 공간 해상도를 확대
• 압축된 특징을 픽셀 단위의 출력으로 변환
• 원본 U-Net의 출력: 각 픽셀이 어떤 영역에 속하는지 나타내는 분할 지도
• 확대만으로는 축소 과정에서 사라진 세부 위치 정보를 완전히 복원하기 어려움

스킵 연결 skip connection

• 축소 경로의 특징 맵을 같은 해상도의 확대 경로로 직접 전달
• 확대 경로의 전역적 문맥과 축소 경로의 세부 위치 정보를 결합
• 병목을 통과하면서 손실되기 쉬운 경계와 질감을 보완
• 출력의 전체 구조와 세부 묘사를 함께 유지하는 핵심 장치

스킵 연결은 원본 이미지를 그대로 출력으로 복사하는 통로가 아님. 축소 경로가 추출한 중간 특징을 확대 경로의 특징과 결합하는 통로

확산 모형의 U-Net

원본 U-Net은 이미지 분할 모형이지만, 여러 해상도에서 전체 구조와 세부 위치를 함께 다루는 방식은 잡음 예측에도 적합함

• 입력: 현재 시점의 잡음 이미지 또는 잡음 잠재 표현
• 추가 입력: 현재 잡음 수준을 알려 주는 시점 정보
• 출력: 현재 입력에 섞인 것으로 예측한 잡음 또는 이에 대응하는 예측값
• 실행 방식: 한 번에 완성된 이미지를 만들지 않고 각 역확산 단계에서 반복 실행

확산 모형에서 축소 경로는 넓은 범위의 구도와 형태를 파악하고, 확대 경로와 스킵 연결은 경계와 질감 같은 세부 정보를 복원하는 데 기여

성능과 비용

• 해상도: 특징 맵의 가로·세로가 커질수록 계산량과 메모리 사용량 증가

• 스킵 연결: 확대 경로에서 다시 사용하기 위해 축소 경로의 중간 특징을 메모리에 보관

• 채널과 블록 수: 늘리면 표현력은 커지지만 모델 크기와 연산량도 증가

• 반복 실행: 확산 생성에서는 U-Net을 여러 번 호출하므로 한 번의 실행 시간 차이가 전체 지연 시간에 누적

• Ronneberger, Olaf, Philipp Fischer, and Thomas Brox. "U-Net: Convolutional Networks for Biomedical Image Segmentation." MICCAI (2015).