언어 모형
- 언어 모형(language models): 문장의 확률을 계산하기 위한 모형
- 예) 밥을 먹었다 vs. 밥을 마셨다
- 한국어를 모국어로 하는 사람이라면 전자가 "자연스럽다"라고 느낌
- 이것을 수치(=확률)로 계산하는 것이 언어 모형
n-gram
- 언어 모형을 만드는 가장 고전적인 방법
- 최근 n−1개 토큰의 출현 빈도로 맥락을 처리
- 장점: 원리가 단순하고 결과를 해석하기 쉬움
- 한계: 긴 맥락을 반영하기 어렵고, 관찰하지 못한 조합의 확률이 0이 되는 희소성 문제
신경망 언어 모형(NNLM)
- 고정된 수의 이전 토큰을 임베딩으로 바꾼 뒤 앞먹임 신경망으로 처리
- 장점: 비슷한 토큰의 패턴을 공유하여 관찰하지 못한 조합에도 일반화
- 한계: 입력 길이가 고정되어 먼 맥락을 반영하기 어려움
순환신경망(RNN)
- 이전 단계의 은닉 상태를 다음 단계로 전달
- 장점: 길이가 다른 문장을 순서대로 처리 가능
- 한계: 순차 처리로 학습이 느리고, 먼 정보가 약해지는 장기 의존성 문제
트랜스포머
- 주의 메커니즘으로 맥락 안의 토큰 관계를 직접 계산
- 장점: 먼 토큰의 관계를 반영하고 학습 때 여러 위치를 병렬 처리 가능
- 한계: 맥락이 길어질수록 계산량과 메모리 사용량 증가
