소형 언어 모델

소형 언어 모델

소형 언어 모델(Small Language Model, SLM): LLM보다 작고 한정적인 용도를 가진 언어 모델
GPT와 동일하게 디코더 전용 트랜스포머 아키텍처
대체로 100M~5B 사이의 파라미터 규모

주요 소형 언어 모델의 발표 시점과 계열

친칠라 법칙

친칠라 법칙(Chinchilla Law): 모델 크기에 따른 최적 훈련량을 측정
- 모델 크기의 약 20배 규모 데이터
기존 모델들은 크기에 비해 훈련량이 부족
- GPT-3: 175B 파라미터에 대해 논문의 표에서 제시한 훈련량은 3.7T 토큰
- 실제 GPT-3의 학습량은 300B 토큰

모델 파라미터 수에 따른 계산량과 최적 학습 토큰 수

기존 언어 모델과 친칠라의 파라미터 수 및 학습 토큰 수 비교

학습 계산량에 따른 최적 파라미터 수와 기존 모델의 위치

출처: Training Compute-Optimal Large Language Models (Hoffmann et al., 2022; DeepMind)

데이터의 양과 성능의 관계

(a) 최근 공개된 SLM들은 친칠라 법칙을 크게 상회하는 양의 데이터로 학습
(b) 데이터의 양이 많을수록 성능도 높아짐
양도 중요하지만, SLM은 LLM에 비해 데이터의 질도 중요
- 상대적으로 작은 모델이기 때문

소형 언어 모델의 크기와 학습 토큰 수 및 정확도 관계

SLM과 LLM의 비교

SLM이 LLM에 준하는 성능을 보이고 있음

시간에 따른 소형 언어 모델의 성능 변화와 대규모 언어 모델의 성능 비교

퀴즈

문제 1 / 2맞음: 0힌트: 0틀림: 0채점중: 0남음: 2

친칠라 법칙이 제시하는 학습 방향으로 가장 적절한 것은?

○학습 데이터의 양을 유지하고 모델 크기만 늘린다
○모델 크기에 맞추어 학습 데이터의 양도 함께 늘린다
○모델이 클수록 학습 데이터의 양을 줄인다
○모든 모델을 같은 수의 토큰으로 학습한다

퀴즈를 풀려면 대화형 기능을 불러와야 합니다.

친칠라 법칙이 제시하는 학습 방향으로 가장 적절한 것은?

계산 자원을 효율적으로 사용하려면 파라미터 수와 학습 토큰 수의 균형이 필요합니다.

학습 데이터의 양을 유지하고 모델 크기만 늘린다모델 크기에 맞추어 학습 데이터의 양도 함께 늘린다모델이 클수록 학습 데이터의 양을 줄인다모든 모델을 같은 수의 토큰으로 학습한다

모델 크기에 맞추어 학습 데이터의 양도 함께 늘린다

자료에서 소개한 소형 언어 모델(SLM)의 특징으로 가장 적절한 것은?

언어 모델의 규모와 다루려는 용도의 범위를 함께 떠올려 보세요.

LLM보다 큰 파라미터 규모로 범용성을 높인다디코더 없이 검색한 문장만 출력한다작은 모델 규모로 한정적인 용도를 다룬다학습 데이터의 질보다 모델 크기만 중요하다

작은 모델 규모로 한정적인 용도를 다룬다

Previous: 합성 데이터와 모형 붕괴
Next: 오디오 생성