강화학습

사전학습, 미세조정, 정렬

• LLM은 보통 사전학습 → 미세조정 → 정렬의 과정을 거쳐 만들어진다.
• 사전학습: 기본 언어 능력과 지식 습득
  • 대규모 텍스트에서 다음 토큰을 예측하며 언어 패턴, 개념, 추론의 기초를 학습
• 미세조정: 특정 목적에 맞게 성능 개선
  • 질의응답, 코딩, 번역, 상담 등 원하는 작업 형식에 맞춰 추가 학습
• 정렬: 사람이 원하는 방식으로 행동 조정
  • 유용하고, 안전하며, 지시를 잘 따르는 답변을 하도록 인간 피드백이나 선호 데이터로 조정

강화 학습 Reinforcement Learning

• 행위자는 환경과 상호작용
• 행위자의 행동($A$)에 따라 보상이 주어짐
• 수익($G$): 보상을 장기간에 걸쳐 누적한 것
• 행위자는 현재 상태($S$)에서 앞으로 수익이 가장 큰 행동을 내는 정책($\pi$)을 찾아야 함

$$A=\underset{G}{\max }\pi (S)$$

강화 학습 예시

• 게임 인공지능: 게임 환경에서 스스로 학습하여 최적의 전략을 수행(예: AlphaGo)
• 로봇 제어: 로봇이 다양한 환경에서 최적의 행동을 학습
• 자율 주행: 자율 주행 차량이 주행 상황에 맞춰 최적의 경로를 선택

지도 학습과 강화 학습의 차이

• 지도 학습
  • X에서 Y를 예측하는 문제
  • X와 Y가 모두 있는 데이터가 필요
  • Y에 대한 예측 오차를 줄이는 것이 목표
  • 바둑: 현재 상황(X)에서 프로 기사들의 다음 수(Y)를 학습
  • 투자: 기업의 정보(X)에서 주가(Y)를 학습
• 강화 학습
  • 데이터 대신 직접 시행 착오
  • 행동으로 인한 보상을 최대화하는 것이 목표
  • 바둑: 현재 상황(S)에서 다음 수(A)를 시행착오를 통해 학습
  • 투자: 기업의 정보(X)에서 매수/매도/보유(A)를 시행착오를 통해 학습

챗봇에서 강화학습의 활용

• Li et al. (2016) Deep Reinforcement Learning for Dialogue Generation
• 챗봇의 발언의 질을 평가하는 함수를 만듦
  • 답변하기 쉬움
  • 새로운 정보
  • 의미상 일관성
• 위의 함수로 보상을 계산하여 강화학습

ChatGPT의 학습

• 1단계: 지도학습
  • 프롬프트와 그 프롬프트에 대해 사람이 답변을 작성
  • 예) "여행 계획을 짜주세요"(프롬프트) → "여행을 가서 공항에서 내리면 ..."
  • 사람의 답변을 GPT에 추가로 학습
• 2단계: 보상 모형
  • GPT가 답변을 생성하기는 하지만 아직 완벽하진 않음
  • GPT에 프롬프트를 주고 그걸 답변을 여러 개 생성(A안, B안, C안, D안 등)
  • 각각의 답변을 사람이 평가(B > A > D > C 등)
  • 보상 모형이라는 인공지능으로 인간의 평가를 학습
• 3단계: 강화 학습
  • GPT가 답변을 생성 → 보상 모형이 해당 답변을 사람이 좋아할지 평가
  • 평가가 높은 답변(=사람이 좋아할 것으로 예상되는 답변)을 생성하는 방향으로 GPT 학습
  • 알파고: 컴퓨터끼리 바둑을 두면서 강해짐
  • ChatGPT: 컴퓨터끼리 문장을 생성하고 평가를 하면서 성능이 높아짐

강화학습과 인간 피드백 기반 정렬

• AlphaGo: 실제 게임 승리라는 명확한 보상 함수로 학습
• RLHF: 인간의 주관적인 평가에 기반한 보상 모델 사용
  • 부정확한 보상 신호: 실제 목표가 아닌 인간의 주관적인 평가를 프록시로 사용, "vibe check"에 불과
  • 보상 모델의 취약성: 모델이 보상 모델의 취약점을 악용하는 방향으로 최적화됨
    • 학습 데이터 분포를 벗어난 이상한 출력으로 높은 보상을 얻을 수 있음
• RLHF가 여전히 유용한 이유:
  • 생성자-판별자 격차 활용: 인간이 답을 직접 작성하는 것보다 여러 답안 중 선택하는 것이 더 쉬움
  • 환각(hallucination) 완화에 도움: 보상 모델이 사실과 다른 내용을 낮은 점수로 평가

RLVR

• 검증가능 보상 강화학습 Reinforcement Learning with Verifiable Rewards
• AI가 낸 결과가 맞았는지 자동으로 확인할 수 있는 과제에서 그 확인 결과를 보상으로 삼아 학습
• 사람이 긴 답변을 읽고 주관적으로 평가하지 않아도, 정답 채점기나 실행 환경이 비교적 명확하게 성공과 실패를 판정할 수 있는 경우(예: 수학, 코딩 등)
• RLHF는 사람이 더 선호하는 답변을 기준으로 모델의 행동을 조정하므로 비용이 크고 편향되기 쉬움
• 정답이 명확한 과제에서는 RLHF보다 확장성이 좋고, 보상 기준도 더 일관적일 수 있음
• 한계:
  • 하나의 정답으로 검증하기 어려운 영역에서는 활용 어려움
  • 최종 결과를 중심으로 보상하기 때문에, 답은 맞았지만 과정이 우연히 맞았는지, 중간 논리가 타당했는지까지 완전히 보장하지는 않음

Constitutional AI

• AI에서 도움됨(helpful)과 무해함(harmless) 사이에 교환이 있음
  • 무해한 AI는 덜 도움됨
  • 도움되는 AI는 해를 끼칠 수 있음

출처: Constitutional AI: Harmlessness from AI Feedback (https://arxiv.org/abs/2212.08073)

Constitutional AI 절차

• 무해한 AI를 위한 "헌법"을 작성
• AI로 "헌법"에 따라 응답을 비판하고 수정하는 것을 반복
• 최종 수정된 응답으로 언어 모델을 미세 조정
• 미세조정된 모형으로 응답을 a, b 2개씩 생성
• a와 b 중에 원칙에 더 맞는 것을 비교하여 선호를 도출하고 선호 모형에 학습
• 미세조정된 모형을 선호 모형으로 강화학습(RLAIF)

RLAIF는 효과적인가?

• SFT: 지도학습으로 미세조정한 모델
• RLAIF: 별도의 학습을 시키지 않은 LLM을 이용해서, 두 개의 응답을 주고 선택하도록 프롬프트를 제시하여 선호 데이터를 생성하여 RM을 학습시키고 강화학습
• 인간 평가자의 선호도:
  • SFT(27%) vs. RLHF(73%)
  • SFT(29%) vs. RLAIF(71%)
  • RLHF(50%) vs. RLAIF(50%)
• 사실성, 안전성 등은 논외로 하고 선호도에 한정하면 RLAIF는 RLHF 못지 않다

출처: RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback (https://arxiv.org/abs/2309.00267)