환경

환경

• 행위자를 둘러싼 모든 것
• 문제와 관련된 변수들의 집합을 가짐
  • 상태 공간(state space): 변수들의 모든 값의 조합
• 관찰(observation): 행위자가 특정 시점에 얻을 수 있는 변수들의 집합
  • 관찰 공간(observation space): 관찰할 수 있는 변수들의 모든 값의 조합
  • 완전 관찰 환경: 상태 전체를 관찰
  • 부분 관찰 환경: 상태의 일부만 관찰
• 행동: 행위자가 현재 관찰을 바탕으로 선택
  • 행동 공간(action space): 행위자가 취할 수 있는 모든 행동의 집합
• 전이: 현재 상태와 행동에 따라 다음 상태와 보상 생성

%%{init: {"flowchart": {"rankSpacing": 18, "nodeSpacing": 20, "diagramPadding": 0, "subGraphTitleMargin": {"bottom": 20}}}}%%
flowchart TD
    agent["행위자"] -->|"① 선택"| action["행동"]

    subgraph environment["환경"]
        direction LR
        state["현재 상태"] --> transition["전이"]
        transition --> nextState["다음 상태"]
        transition --> reward["보상"]
    end

    action -->|"② 영향"| transition
    nextState -->|"③ 일부 또는 전체 제공"| observation["관찰"]
    observation -->|"④ 전달"| agent
    reward -->|"④ 전달"| agent
    nextState -.-> state

환경에 대한 모델

• 전이 함수(transition function): 행동에 대한 반응으로 상태의 변화를 나타내는 함수
  • 결정론적(deterministic) 전이 함수: 같은 상태에 같은 행동을 하면 항상 같은 다음 상태로 전이
  • 확률론적(stochastic) 전이 함수: 같은 상태에 같은 행동을 하면 일정한 확률에 따라 다음 상태로 전이
    • 결정론적 전이 함수는 각 상태-행동 쌍에서 특정 다음 상태의 전이 확률이 1인 확률론적 전이 함수로 볼 수 있음
• 보상 함수(reward function): 행동에 대한 반응으로 주어지는 보상에 대한 함수
• 기본 환경 모형에서는 전이 함수와 보상 함수가 시간에 따라 바뀌지 않는다고 가정
• 환경에 대한 모델(model): 전이 함수와 보상 함수에 대한 집합
  • 모델 기반(model-based) 강화 학습: 환경에 대한 모델을 학습하여 계획에 활용
  • 모델 프리(model-free) 강화 학습: 환경에 대한 모델을 학습하지 않는 강화 학습