전이 학습

전이 학습

전이 학습(transfer learning)은 한 문제에서 학습한 표상을 다른 문제의 해결에 재사용하는 방법. 큰 딥러닝 모형을 처음부터 학습하려면 많은 데이터와 계산이 필요하지만, 서로 다른 문제에도 단어의 의미나 문장 구조처럼 공유하는 요소가 있음.

• 근원 문제(source task): 대규모 데이터로 먼저 학습하는 문제
• 사전 학습(pretraining): 근원 문제에서 일반적으로 쓸 수 있는 표상을 학습하는 과정
• 대상 문제(target task): 실제로 해결하려는 새로운 문제
• 미세 조정(fine-tuning): 사전 학습된 파라미터를 대상 문제에 맞게 추가 학습하는 과정

자연어 모형은 대량의 텍스트에서 다음 토큰을 예측하며 사전 학습 가능. 텍스트 자체에서 정답을 만들 수 있으므로 모든 문장에 사람이 과업별 레이블을 붙이지 않아도 언어의 일반적인 패턴을 학습.

전이가 가능한 이유

감성 분류, 요약, 질의응답은 서로 다른 과업이지만 어휘, 문법, 문맥, 개념 사이의 관계를 공유. 사전 학습된 모형은 이런 공통 표상을 이미 파라미터에 담고 있으므로 대상 문제를 무작위 초기값에서 다시 학습할 필요가 줄어듦.

• 대상 과업의 레이블 데이터가 적어도 높은 성능을 낼 가능성
• 학습 시간과 계산 비용 절감
• 하나의 사전 학습된 모형을 여러 대상 과업에서 재사용

전이 학습의 세 가지 방식

전체 미세 조정

사전 학습된 파라미터를 포함해 모형 전체를 대상 데이터로 조금씩 갱신. 대상 과업과 근원 문제가 다를 때도 폭넓게 적응할 수 있지만 더 많은 메모리와 계산이 필요. 보통 사전 학습에서 얻은 유용한 표상을 크게 훼손하지 않도록 작은 학습률을 사용.

특징 추출

사전 학습된 모형을 고정된 특징 추출기로 사용하고 마지막에 새 분류기 같은 과업별 계층을 추가. 추가한 부분만 학습하므로 빠르고 저장 공간이 적게 들지만, 기존 표상이 대상 문제에 충분히 맞아야 함.

제로샷 학습

파라미터를 추가 학습하지 않고 사전 학습된 모형을 그대로 사용. 언어 모형에는 과업 설명과 입력 예시를 프롬프트로 제공 가능. 추가 훈련 데이터가 필요 없지만 지시 방식과 사전 학습 범위에 따라 성능 차이가 큼.

기반 모형

기반 모형(foundation model)은 자연어 처리나 컴퓨터 비전처럼 넓은 분야의 여러 과업에 적용할 수 있도록 대규모 데이터로 사전 학습된 모형. GPT나 BERT 같은 언어 모형은 학습한 언어 표상을 분류, 요약, 생성 등 여러 문제에 전이.

기반 모형의 활용은 보통 다음 순서.

1. 넓은 데이터에서 일반 표상 학습
2. 전체 미세 조정, 특징 추출, 또는 제로샷 방식 선택
3. 대상 과업의 검증 데이터로 실제 성능 확인

전이가 잘되지 않는 경우

• 근원 문제와 대상 문제가 공유하는 패턴이 적으면 이점 감소
• 사전 학습 데이터와 대상 데이터의 언어·분야·형식이 크게 다르면 부정적 전이(negative transfer) 가능
• 작은 대상 데이터에 지나치게 미세 조정하면 사전 학습에서 얻은 일반 능력이 약해질 수 있음
• 제로샷 성능은 과업 설명과 평가 기준에 민감하므로 실제 데이터에서 검증 필요