가치

가치와 정책

보상(reward): 한 시점에 환경에서 받는 신호
수익(return): 현재부터 미래까지 받을 보상의 누적
정책(policy): 상태에서 행동을 선택하는 규칙
- 결정론적 정책: 같은 상태에서 항상 같은 행동 선택
- 확률론적 정책: 행동별 확률에 따라 행동 선택
가치(value): 정책을 계속 따를 때 예상되는 수익
- 현재의 즉시 보상보다 장기적인 결과를 평가
- 같은 상태라도 따르는 정책에 따라 달라지는 값

상태 가치

평가 대상: 현재 놓인 상태
질문: “이 상태에서 정책을 계속 따르면 얼마만큼의 수익을 기대할 수 있는가?”
특징: 다음 행동을 하나로 고정하지 않고 정책이 선택할 모든 행동을 함께 반영
용도: 현재 상황이 장기적으로 유리한지 평가

행동 가치

평가 대상: 현재 상태에서 선택할 특정 행동
질문: “이 행동을 먼저 한 뒤 정책을 계속 따르면 얼마만큼의 수익을 기대할 수 있는가?”
특징: 첫 행동을 고정한 평가
용도: 같은 상태에서 여러 행동의 장기적 결과 비교
상태 가치 = 정책이 선택할 행동들의 가치의 평균

이득

이득(advantage): 특정 행동의 가치와 그 상태 가치의 차이
양의 이득: 그 상태에서 정책에 따른 평균적인 행동 가치보다 가치가 높음
음의 이득: 정책에 따른 평균적인 행동 가치보다 가치가 낮음
0에 가까운 이득: 정책에 따른 평균적인 행동 가치와 비슷함

벨만 방정식

현재 가치 = 즉시 받을 보상 + 다음 상태의 가치
먼 미래의 결과를 한 번에 계산하는 대신 한 단계 뒤의 가치와 연결
재귀적 구조가 정책 평가와 가치 학습의 기반

최적성

최적 정책: 모든 상태에서 다른 정책보다 크거나 같은 기대 수익을 만드는 정책
- 같은 최고 가치를 만드는 행동이 여러 개라면 여러 최적 정책 가능
- 최적 정책이 여러 개여도 최적 가치는 같음
최적 상태 가치: 최적 정책에서 상태 가치
최적 행동 가치: 최적 정책에서 행동 가치

근사

현실적으로 최적 정책을 정확히 찾기는 어려움
자주 마주치는 상태를 중심으로 가치와 정책을 근사
강점: 자주 마주치는 상태에서 효율적인 의사결정
한계: 드물거나 학습 분포에서 벗어난 상태에서 잘못된 가치 추정 가능

적대적 공격

바둑에서 자연스럽게 발생하기 어려운 순환 형태의 돌무리를 의도적으로 구성
학습된 적대적 정책이 초인적 설정의 바둑 AI를 상대로 97%가 넘는 승률 기록
공격 정책의 일반적인 바둑 실력보다 특정 취약 상태를 유도하는 능력이 승리의 핵심
평균적인 정책 성능과 드문 상태에서의 견고성을 구분할 필요
Adversarial Policies Beat Superhuman Go AIs

순환 형태의 돌무리를 만들어 바둑 인공지능의 가치 판단 오류를 유도하는 과정

더 알아보기: 가치 함수의 수식

기본 기호

$S_{t}$ : 시점 $t$ 의 상태
$A_{t}$ : 시점 $t$ 의 행동
$G_{t}$ : 시점 $t$ 부터의 수익
$π (a ∣ s)$ : 상태 $s$ 에서 정책이 행동 $a$ 를 선택할 확률
$p (s^{'}, r ∣ s, a)$ : 상태 $s$ 에서 행동 $a$ 를 했을 때 다음 상태 $s^{'}$ 와 보상 $r$ 이 나타날 확률
$γ$ : 미래 보상의 할인율

상태 가치 함수

정책 $π$ 를 따르며 상태 $s$ 에서 시작할 때 얻는 수익의 기댓값입니다.

v_{π} (s) = E_{π} [G_{t} ∣ S_{t} = s]

벨만 기대 방정식은 상태 가치를 한 단계의 보상과 다음 상태의 가치로 분해합니다.

v_{π} (s) = a \sum π (a ∣ s) s^{'}, r \sum p (s^{'}, r ∣ s, a) [r + γ v_{π} (s^{'})]

행동 가치 함수

상태 $s$ 에서 행동 $a$ 를 먼저 한 뒤 정책 $π$ 를 따를 때 얻는 수익의 기댓값입니다.

q_{π} (s, a) = E_{π} [G_{t} ∣ S_{t} = s, A_{t} = a]

q_{π} (s, a) = s^{'}, r \sum p (s^{'}, r ∣ s, a) [r + γ v_{π} (s^{'})]

상태 가치는 정책에 따른 행동 가치의 가중평균입니다.

v_{π} (s) = a \sum π (a ∣ s) q_{π} (s, a)

이득 함수

이득은 특정 행동의 가치에서 그 상태의 평균적인 가치를 뺀 값입니다.

A_{π} (s, a) = q_{π} (s, a) - v_{π} (s)

따라서 행동 가치는 상태 가치와 이득의 합으로 표현할 수 있습니다.

q_{π} (s, a) = v_{π} (s) + A_{π} (s, a)

최적 가치 함수

v_{*} (s) = π max v_{π} (s)

q_{*} (s, a) = π max q_{π} (s, a)

벨만 최적성 방정식

정책의 행동을 평균내는 대신 가장 가치가 큰 행동을 선택합니다.

v_{*} (s) = a max s^{'}, r \sum p (s^{'}, r ∣ s, a) [r + γ v_{*} (s^{'})]

q_{*} (s, a) = s^{'}, r \sum p (s^{'}, r ∣ s, a) [r + γ a^{'} max q_{*} (s^{'}, a^{'})]

퀴즈

문제 1 / 7맞음: 0힌트: 0틀림: 0채점중: 0남음: 7

가치(value)의 의미로 가장 알맞은 것은 무엇입니까?

○정책을 따를 때 얻을 수익(return)의 기댓값
○현재 시점에 받은 보상(reward) 그 자체
○정책을 따를 때 얻을 수익의 분산
○정책을 따를 때 얻을 수 있는 수익 중 최댓값

퀴즈를 풀려면 대화형 기능을 불러와야 합니다.

가치(value)의 의미로 가장 알맞은 것은 무엇입니까?

한 시점에 받은 보상과 여러 시점에 걸쳐 누적되는 수익을 구분해 보세요.

정책을 따를 때 얻을 수익(return)의 기댓값현재 시점에 받은 보상(reward) 그 자체정책을 따를 때 얻을 수익의 분산정책을 따를 때 얻을 수 있는 수익 중 최댓값

정책을 따를 때 얻을 수익(return)의 기댓값

상태 가치에 대한 설명으로 가장 알맞은 것은 무엇입니까?

첫 행동을 하나로 고정하지 않고 현재 정책이 만들 미래 전체를 평가합니다.

현재 상태에서 정책을 계속 따를 때 예상되는 장기 수익현재 상태에서 특정 행동을 먼저 했을 때의 즉시 보상현재 상태에서 선택할 수 있는 행동의 개수정책과 관계없이 상태에 고정된 절대 점수

현재 상태에서 정책을 계속 따를 때 예상되는 장기 수익

행동 가치에 대한 설명으로 가장 알맞은 것은 무엇입니까?

상태 가치와 달리 첫 행동 하나가 고정된 평가입니다.

현재 상태에서 특정 행동을 먼저 한 뒤 정책을 따를 때의 예상 수익현재 상태에서 정책이 선택할 모든 행동을 평균한 예상 수익특정 행동을 했을 때 즉시 받는 보상만의 평균정책과 관계없이 모든 상태에서 동일하게 정해지는 점수

현재 상태에서 특정 행동을 먼저 한 뒤 정책을 따를 때의 예상 수익

특정 행동의 이득이 양수라는 것은 무엇을 뜻합니까?

이득은 행동의 절대 점수가 아니라 같은 상태의 평균과 비교한 상대 평가입니다.

그 행동이 현재 정책의 평균적인 선택보다 좋은 결과를 기대하게 한다그 행동이 반드시 즉시 양의 보상을 준다그 행동이 모든 가능한 정책에서 최적임을 보장한다그 행동 뒤에는 상태가 변하지 않는다

그 행동이 현재 정책의 평균적인 선택보다 좋은 결과를 기대하게 한다

벨만 관점의 핵심 설명으로 가장 알맞은 것은 무엇입니까?

먼 미래의 결과를 한 단계 뒤의 평가와 연결하는 재귀적 관점입니다.

현재 가치를 즉시 보상과 다음 상태의 가치로 나누어 생각한다미래의 모든 상태를 하나의 즉시 보상으로 바꾼다상태와 행동을 구분하지 않고 같은 값으로 평가한다환경의 전이와 관계없이 현재 보상만으로 정책을 선택한다

현재 가치를 즉시 보상과 다음 상태의 가치로 나누어 생각한다

최적성과 근사 정책에 대한 설명으로 올바른 것을 모두 고르세요.

이론적으로 정의한 최적 정책과 실제 학습으로 얻은 근사 정책의 보장을 구분하세요.

최적 정책은 모든 상태에서 다른 정책보다 기대 수익이 크거나 같다상태와 행동의 경우의 수가 많으면 최적 정책을 정확히 구하기 어려울 수 있다최적 정책은 항상 하나만 존재한다학습으로 얻은 근사 정책은 드물게 경험한 상태에서도 최적 행동을 보장한다

최적 정책은 모든 상태에서 다른 정책보다 기대 수익이 크거나 같다, 상태와 행동의 경우의 수가 많으면 최적 정책을 정확히 구하기 어려울 수 있다

초인적 수준의 바둑 인공지능도 적대적 정책에 취약할 수 있다는 사례가 보여 주는 핵심은 무엇입니까?

전체적인 성능과 학습 분포 밖의 특수한 국면에서 보이는 견고성을 구분해 보세요.

높은 평균 성능이 드문 모든 상태에서의 정확한 가치 판단을 보장하지는 않는다적대적 정책은 일반적인 바둑 실력에서도 항상 초인적 수준이다바둑은 상태 수가 적어 모든 가치를 정확히 계산할 수 있다가치 함수 없이도 같은 취약점을 항상 제거할 수 있다

높은 평균 성능이 드문 모든 상태에서의 정확한 가치 판단을 보장하지는 않는다