직접 선호 최적화(DPO)

직접 선호 최적화(Direct Preference Optimization, DPO): 같은 질문에 대한 두 답변 중 어느 쪽이 더 좋은지를 언어 모델에 직접 학습하는 방법
학습 데이터: 질문, 더 선호된 답변, 덜 선호된 답변의 묶음

DPO의 학습 과정

방법	학습 방식
SFT	질문과 모범 답변 → 모범 답변을 따라 생성하도록 언어 모델을 미세조정
RLHF(PPO)	선호 데이터 → 별도 보상 모델 학습 → 보상 점수를 높이도록 언어 모델을 강화학습
DPO	선호 데이터 → 선호된 답변 쪽으로 언어 모델을 직접 미세조정

앞의 예시에 적용하면
- SFT: 질문과 답변 A를 보여 주고, 답변 A를 따라 생성하도록 학습
- DPO: 질문과 답변 A·B를 보여 주고, A를 더 선호한다는 비교 결과로 학습
학습 후에는 두 방법 모두 질문을 입력받아 답변을 직접 생성
기본 DPO에서는 준비된 답변 쌍으로 학습하므로, 학습 중 새 답변을 생성하고 보상 모델로 채점하는 강화학습 과정이 불필요

DPO는 보통 SFT를 마친 모델에서 출발. 학습 전 모델의 복사본을 **기준 모델(기준 정책)**로 보관하고, 학습하는 모델만 변경. 이 복사본을 비교 기준으로 삼아, 앞의 예시에서는 학습 전보다 답변 A 쪽으로 생성 경향이 더 기울도록 조정.

RLHF와 성능 비교

별도의 보상 모델 학습과 강화학습을 사용하는 RLHF와 선호 데이터로 직접 학습하는 DPO의 비교

자료에 제시된 비교에서 DPO의 응답이 SFT와 기존 RLHF(PPO)보다 높은 선호도
- 사람과 GPT-4 평가에서 같은 결과
- GPT-4는 S, C 두 가지 평가 프롬프트 사용

DPO, SFT, PPO의 응답에 대한 인간과 GPT-4 평가자의 선호도 및 평가자 간 일치도

기준 정책에 비해 답변의 생성 확률이 얼마나 커졌는지를 다음 점수로 표현

\overset{r}{^}_{θ} (x, y) = β lo g \frac{π _{θ} ( y ∣ x )}{π _{ref} ( y ∣ x )}

L_{DPO} (π_{θ}; π_{ref}) = - E_{(x, y_{w}, y_{l}) \sim D} [lo g σ (\overset{r}{^}_{θ} (x, y_{w}) - \overset{r}{^}_{θ} (x, y_{l}))]

$σ (\overset{r}{^}_{θ} (x, y_{w}) - \overset{r}{^}_{θ} (x, y_{l}))$ : 두 답변 중 $y_{w}$ 를 선호할 확률의 추정치
선호된 답변의 점수가 덜 선호된 답변보다 충분히 높아지면, 추정 확률은 1에 가까워지고 손실은 0에 가까워짐
손실 최소화: 기준 정책 대비 확률비가 $y_{l}$ 보다 $y_{w}$ 에서 더 커지도록 조정

\nabla_{θ} L_{DPO} (π_{θ}; π_{ref}) = - β E_{(x, y_{w}, y_{l}) \sim D} [σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w})) \cdot (\nabla_{θ} lo g π_{θ} (y_{w} ∣ x) - \nabla_{θ} lo g π_{θ} (y_{l} ∣ x))]

기준 정책은 고정하므로, 그 로그 확률을 $θ$ 로 미분한 값은 0
손실 기울기의 반대 방향으로 업데이트
- $lo g π_{θ} (y_{w} ∣ x)$ 를 높이는 방향
- $lo g π_{θ} (y_{l} ∣ x)$ 를 낮추는 방향
가중치 $σ (\overset{r}{^}_{θ} (x, y_{l}) - \overset{r}{^}_{θ} (x, y_{w}))$
- 덜 선호된 답변의 암묵적 보상이 더 크면 가중치 증가
- 선호된 답변의 암묵적 보상이 충분히 더 크면 가중치 감소

선호된 문장의 확률을 높이고 덜 선호된 문장의 확률을 낮추는 DPO 기울기와 암묵적 보상 추정식

퀴즈

문제 1 / 3맞음: 0힌트: 0틀림: 0채점중: 0남음: 3

DPO가 기존 RLHF의 학습 절차에서 제외하는 것은?

퀴즈를 풀려면 대화형 기능을 불러와야 합니다.

DPO가 기존 RLHF의 학습 절차에서 제외하는 것은?

DPO에서는 선호 데이터가 언어 모델의 손실 함수에 직접 반영됩니다.

별도의 보상 모델 학습과 강화학습선호 데이터 수집과 언어 모델 학습기준 정책 사용과 선호된 문장의 확률 계산지도학습과 선호된 문장 및 덜 선호된 문장의 비교

별도의 보상 모델 학습과 강화학습

DPO에서 선호된 문장과 덜 선호된 문장에 대한 업데이트 방향은?

학습 뒤에 모델이 두 응답 중 어느 쪽을 더 잘 생성해야 하는지 생각해 보세요.

선호된 문장의 확률은 높이고 덜 선호된 문장의 확률은 낮추는 방향두 문장의 생성 확률을 같은 값으로 맞추는 방향덜 선호된 문장의 확률은 높이고 선호된 문장의 확률은 낮추는 방향두 문장의 확률을 고정하고 별도 보상 모델만 학습하는 방향

선호된 문장의 확률은 높이고 덜 선호된 문장의 확률은 낮추는 방향

DPO의 한계에 대한 설명으로 옳은 것을 모두 고르세요.

학습의 출발점, 선호와 정확성의 차이, 선호 기준의 편향을 함께 점검하세요.

기준 정책의 품질에 크게 의존한다선호를 잘 학습해도 내용의 정확성을 보장하지 않는다긴 답변을 선호하는 보상 경향이 장황한 응답으로 이어질 수 있다별도 보상 모델이 없으므로 암묵적 보상을 극대화하는 경향도 없다

기준 정책의 품질에 크게 의존한다, 선호를 잘 학습해도 내용의 정확성을 보장하지 않는다, 긴 답변을 선호하는 보상 경향이 장황한 응답으로 이어질 수 있다