할인

할인 discounting

동일한 보상이라도 나중에 받는 것보다 먼저 받는 것이 나음
- 예) 오늘 100만원 vs. 1년 후 100만원
시간에 따른 차이를 보정하기 위해 미래의 보상은 할인하여 계산
할인율(discount factor): 한 스텝마다 할인하는 비율
- 그리스 문자 감마( $γ$ )로 표시
- 이자율과 반대 관계로 이해할 수있음
할인율이 0.9일 경우: $8 1_{t = 0} = 9 0_{t = 1} = 10 0_{t = 2}$
- 현재 스텝의 90만원 = 다음 스텝의 100만원
수익을 계산할 때도 할인을 적용

G_{t} = R_{t + 1} + R_{t + 2} + R_{t + 3} + \dots + R_{T}

G_{t} = R_{t + 1} + γ R_{t + 2} + γ^{2} R_{t + 3} + \dots + γ^{T - t - 1} R_{T}

G_{t} = R_{t + 1} + γ G_{t + 1}

퀴즈

문제 1 / 4맞음: 0힌트: 0틀림: 0채점중: 0남음: 4

할인(discounting)을 사용하는 이유로 가장 알맞은 것은 무엇입니까?

퀴즈를 풀려면 대화형 기능을 불러와야 합니다.

할인(discounting)을 사용하는 이유로 가장 알맞은 것은 무엇입니까?

같은 보상이라도 지금 받는 것과 나중에 받는 것은 가치가 다르게 평가됩니다.

미래 보상을 시간 차이에 맞춰 현재 가치로 보정하기 위해서보상을 받는 시점과 관계없이 모든 미래 보상을 같은 가치로 만들기 위해서현재 보상보다 미래 보상에 더 큰 가중치를 주기 위해서보상들의 시간 순서를 없애고 단순 평균을 계산하기 위해서

미래 보상을 시간 차이에 맞춰 현재 가치로 보정하기 위해서

할인율이 0.9일 때 보상의 현재 가치에 대한 설명으로 알맞은 것은 무엇입니까?

한 스텝 뒤의 보상에는 할인율을 한 번 곱합니다.

한 스텝 뒤 100만원의 현재 가치는 90만원이다한 스텝 뒤 90만원의 현재 가치는 100만원이다두 스텝 뒤 100만원의 현재 가치는 90만원이다두 스텝 뒤 100만원의 현재 가치는 100만원이다

한 스텝 뒤 100만원의 현재 가치는 90만원이다

수익(return)의 설명으로 가장 알맞은 것은 무엇입니까?

$G_{t}$ 는 다음 보상과 다음 시점 수익의 할인된 값을 결합해 재귀적으로 계산할 수 있습니다.

시점

t

이후에 받을 보상에 시간에 따른 할인율을 적용한 누적합시점

t

이전까지 이미 받은 보상에 할인율을 적용한 누적합시점

t

에서 선택한 행동 직후의 보상 하나에피소드 전체에서 받은 보상의 단순 평균

시점

t

이후에 받을 보상에 시간에 따른 할인율을 적용한 누적합

할인율과 긴급성의 관계에 대한 설명으로 올바른 것을 모두 고르세요.

할인을 많이 한다는 것은 미래 보상을 더 작게 평가한다는 뜻입니다.

γ

가 클수록 현재와 미래 보상의 차이가 작다

γ

가 작을수록 보상을 빨리 얻는 것이 유리해진다

γ = 1

이고 종료 시 보상만 있다면 도착 시점은 수익에 영향을 주지 않는다

γ

가 작을수록 미래 보상의 가치가 더 커진다

γ

가 클수록 현재와 미래 보상의 차이가 작다,

γ

가 작을수록 보상을 빨리 얻는 것이 유리해진다,

γ = 1

이고 종료 시 보상만 있다면 도착 시점은 수익에 영향을 주지 않는다