추론 시점의 계산량 확대
사전학습·추가 학습·추론의 차이와 답을 만드는 과정의 계산 확대
계산을 사용하는 세 단계
| 단계 | 계산을 사용하는 목적 | 바뀌는 것 |
|---|---|---|
| 사전학습(pretraining) | 대량의 자료에서 기본 패턴 학습 | 모델의 파라미터 |
| 추가 학습(post-training) | 지시 수행·선호·추론 능력 등을 개선 | 모델의 파라미터 |
| 추론(inference) | 현재 입력의 답을 생성·탐색·검토 | 일반적인 추론에서는 파라미터를 유지하고 답을 만드는 과정에 계산 투입 |
- 추가 학습의 예: 좋은 답변 예시로 학습하거나, 답변의 평가 결과를 보상으로 사용
- DeepSeek-R1 연구: 강화학습을 통해 검증 가능한 수학·코딩 등의 추론 능력을 개선
- 구분: 사전학습의 손실 관계, 추가 학습의 개선, 추론 시점의 성능 향상은 서로 다른 조건에서 평가
추론 시점의 계산량 확대
- 추론 시점 확장(test-time scaling): 이미 학습한 모델이 답을 만드는 과정에 추가 계산을 사용하여 결과 개선
- 모델의 파라미터 수를 늘리거나 다시 학습하는 것과 구분
- 주요 방법
- 풀이 연장: 하나의 풀이를 더 길게 진행하며 중간 결과 검토
- 후보 비교: 여러 답을 생성하고 투표나 검증으로 최종 답 선택
- 경로 탐색: 중간 풀이를 평가하고 유망한 경로를 확장하거나 다른 경로로 전환
- 사례: s1 연구에서는 추론 길이를 조절하여 일부 수학 평가의 성능 향상을 관찰
- 핵심: 추가 계산을 어떤 방식으로 쓰는지가 중요
- 답을 길게 쓰거나 같은 답을 반복하는 것만으로 성능 향상을 보장하지 않음
- 모델의 능력, 문제의 난이도, 검증 방법에 따라 효과가 달라짐
출처: s1 (2025), Snell 외 (2024), Hariri 외 (2026)
퀴즈
추론 시점의 계산량을 늘리는 예는?
퀴즈를 풀려면 대화형 기능을 불러와야 합니다.