행위자
에이전트, 상태, 행동, 보상의 정의
- 행위자(agent):
- 결정을 내리는 주체
- 문제에 대한 답을 제공
- 행동을 통해서 환경에 영향
- 환경(environment)
- 문제를 대표
- 행위자의 행동에 반응
행위자와 환경의 예시
- 주식투자
- 행위자: 투자자
- 환경: 주식 시장, 다른 투자자, 정치경제적 조건 등
- 행동: 매수, 매도, 보유 등
- 운전
- 행위자: 운전자
- 환경: 도로, 날씨, 다른 운전자, 교통 상황 등
- 행동: 전진, 후진, 좌회전, 우회전, 유턴, 가속, 감속 등
행위자
- 상호작용을 통해 데이터를 수집
- 현재 취하고 있는 행동을 평가
- 성능을 개선
행위자의 학습의 특성
- 시행 착오를 통해 학습(데이터가 미리 주어져 있지 않음)
- 보상 피드백의 특성
| 특성 | 설명 |
|---|---|
| 순차적 sequential | 자료가 한 방에 주어지지 않음. 행동에 대한 보상이 여러 스텝 뒤에 나타날 수 있음 |
| 평가적 evaluative | 좋은 행동인지는 알 수 있으나, 옳은 행동인지는 알 수 없음. 지도학습에는 정답이 제공됨 |
| 표본 추출된 sampled | 모든 상태, 행동을 다 해볼 수 없음. 표본(부분집합)만 접근 가능 |
(temporal) Credit Assignment Problem
- 줄여서 CAP
- (시간적) 공적 할당 문제: 특정 결과에 어떤 행동이 얼마나 기여했는가?
- 예시: 체스에서 첫 번째 수가 게임의 승리에 얼마나 기여했는지 평가
- 어려움:
- 시간 지연: 행동과 보상 사이에 시간 간격이 존재
- 다양한 경로: 동일한 보상에 도달할 수 있는 여러 행동 경로가 존재
- 복잡한 상호작용: 행동들이 서로 영향을 미침