규모의 법칙

손실 vs. 모델 크기 vs. 데이터셋 크기

• 손실: 일종의 오차이며, 작을수록 좋음
• 데이터셋 크기: 커질수록 손실이 감소
• 모델 크기: 커질수록 손실이 감소

참고: Scaling Law for Neural Language Models

스케일링 법칙

• 계산량, 데이터셋 크기, 모델 크기에 따라 최대 성능이 일정한 패턴을 나타냄

GPT3의 경우

• GPT3의 학습 곡선은 예측된 성능으로 수렴함

출처: Language Models are Few-Shot Learners https://arxiv.org/pdf/2005.14165

다른 종류의 모델도 스케일링 법칙을 따름

출처: Scaling Laws for Autoregressive Generative Modeling https://arxiv.org/pdf/2010.14701

언어 모델 크기에 따른 성능 향상

• 가로축은 출판 연도, 원의 크기는 학습에 사용된 계산량
• 세로축은 로그 혼란도
  • 낮을수록 좋음
• 더 많은 학습이 이뤄질수록 로그 혼란도가 감소하고 있음

창발적 능력

• 일부 능력은 크기에 따라 점진적으로 증가하는 것이 아니라, 일정 크기에서 갑자기 나타남
• 채점 방식에 의한 착시라는 지적도 있음

출처: Emergent Abilities of Large Language Models (https://arxiv.org/pdf/2206.07682)

생성형 AI의 한계와 리스크

합성 데이터

• LLM은 s 등 논리적 추리에 약점 → 양질의 데이터가 부족

• GPT-4를 이용해 생성한 데이터를 더 작은 모형에 학습 → GPT-4와 비슷한 성능을 냄

• 딥마인드의 알파지오메트리: 기존 수학 문제를 변형하는 방법을 사용, 올림피아드 금메달 수준 달성

모형 붕괴

• AI models collapse when trained on recursively generated data
• 모형에서 생성한 데이터를 다시 모형에 입력
• 원래 데이터의 분포와 다른 분포로 수렴
  • 분산의 감소
• 원인:
  • 생성된 데이터의 크기가 유한하여 확률이 낮은 사례가 누락
  • 모형이 표현하지 못하는 정보가 상실
  • 학습 과정에서 오류

그림 설명:

• [b좌] 세대가 거듭할수록 생성되는 데이터의 혼란도(perplexity)가 낮아짐
  • 뻔한 문장만 생성
• [b우] 모형을 기준으로 실제 데이터의 혼란도가 높아짐
  • 실제 문장을 낯설게 봄
• [c] 실제 데이터를 10% 정도 섞으면 모형 붕괴 현상이 완화

모형 붕괴 예시

모형 붕괴는 피할 수 없는가?

• 기존 데이터를 합성 데이터로 대체하는 경우
  • 세대가 진행될수록 성능이 나빠짐
  • 손실이 증가
• 기존 데이터에 합성 데이터를 누적하는 경우
  • 성능이 안정되거나 개선

출처: Is model collapse inevitable? (https://arxiv.org/pdf/2404.01413)