마코프 결정 과정

강화학습의 기본 모형

• 강화학습 문제: 일반적으로 마코프 결정 과정(Markov decision process, MDP)으로 모델링
  • 상태, 행동, 전이 확률, 보상으로 행위자와 환경의 상호작용 표현
• 냉방 예시: 방을 쾌적하게 유지하기 위한 냉방 제어
  • 상태: 실내 온도를 ‘쾌적’과 ‘더움’으로 단순화
  • 조건: 외부 기온 등 다른 조건은 일정하다고 가정

마코프 특성

• 마코프 특성(Markov property): 현재 상태가 미래 예측에 필요한 과거 정보를 담는 성질
  • 과거의 모든 상태가 아닌, 현재 상태만 알면 미래를 예측할 수 있음

전이 확률:

• 냉방 예시: 현재의 실내 상태만으로 다음의 실내 상태를 알 수 있다면 마코프 특성을 만족
  • 다음의 실내 상태를 알기 위해 외부 기온이나 습도 등 추가 정보가 필요하면 마코프 특성을 만족하지 않음

마코프 연쇄

• 마코프 연쇄(Markov chain): 마코프 특성을 갖는 상태 전이 과정
• 구성: 상태 집합 $S$와 전이 확률 $P(s^{\prime }\mid s)$
• 전이 확률: 현재 상태가 $s$일 때 다음 상태가 $s^{\prime }$일 확률
• 냉방 예시: 냉방이 꺼진 방의 상태 변화만 표현

stateDiagram-v2
    direction LR
    state "쾌적" as comfortable
    state "더움" as hot
    comfortable --> comfortable: 0.8
    comfortable --> hot: 0.2
    hot --> comfortable: 0.3
    hot --> hot: 0.7

마코프 보상 과정

• 마코프 보상 과정(Markov reward process, MRP): 마코프 연쇄에 보상을 더한 모형
• 상태별 기대 보상 $r(s)$: 현재 상태가 $s$일 때 다음에 받을 보상의 평균

• 예시: 쾌적한 상태에 보상 $+1$, 더운 상태에 보상 $0$

마코프 결정 과정

• 마코프 결정 과정: 상태 전이와 보상에 행동 선택을 더한 모형
• 구성: 상태 집합 $S$, 행동 집합 $A$, 전이 확률 $P(s^{\prime }\mid s,a)$, 기대 보상 $r(s,a)$
• 전이 확률: 현재 상태 $s$에서 행동 $a$를 할 때 다음 상태가 $s^{\prime }$일 확률
• 기대 보상: 현재 상태와 행동에 따른 다음 보상의 평균

• 냉방 끄기: 더운 상태에서 다음 상태가 쾌적할 확률 0.3
• 냉방 켜기: 같은 상태에서 다음 상태가 쾌적할 확률 0.8

냉방 행동에 따른 상태 전이 확률:

flowchart LR
    currentState["현재 상태"] --> coolingAction["냉방 끄기 또는 켜기"]
    coolingAction --> nextState["다음 상태"]

현재 상태와 행동을 기준으로 한 마코프 특성:

• 정책(policy) $\pi (a\mid s)$: 상태 $s$에서 행동 $a$를 선택할 확률
  • 결정론적 정책: 한 행동을 고를 확률이 1

부분 관찰 마코프 결정 과정

• 부분 관찰 마코프 결정 과정(Partially observable Markov decision process, POMDP): 행위자가 환경의 상태를 완전히 관찰할 수 없는 결정 과정
• 상태와 관찰: 환경의 실제 상태와 행위자가 얻는 정보를 구분
  • 상태 $S_t$: 환경의 실제 상태
  • 관찰 $O_t$: 센서 등으로 행위자가 얻는 정보
• 추가 구성: MDP에 관찰 집합과 관찰 확률을 추가
  • 관찰 확률: 특정 상태에서 각 관찰을 얻을 확률
• 냉방 예시: 온도 센서에 오차가 있는 방
  • 실제로 더워도 센서에는 ‘쾌적’으로 표시될 가능성

네 모형 비교