딥 강화학습: 신경망과 강화학습의 통합

 출처

딥 강화학습이란 무엇인가요?

출처: S. L. Brunton (2021년 2월 19일), 제어 법칙 학습을 위한 신경망

 출처

딥 강화학습 에이전트는 어떻게 행동을 개선하나요?

에이전트: 학습자(예: 게임 AI 또는 로봇 제어기).
환경: 에이전트가 작동하는 세계(예: 교통 네트워크나 가상 아레나).

상태 $s_t$: 시간 t에서의 환경 스냅샷(예: 카메라 피드 또는 센서 값).
행동 $a_t$: 에이전트가 내리는 결정(예: 왼쪽으로 조향하거나 점프하기).
보상 $r_{t+1}$: 성공 또는 실패를 나타내는 환경의 피드백.

상태 관찰 $s_t$
행동 선택 $a_t$ 정책 또는 가치 추정에 기반하여.
행동을 실행하고 보상을 받기 $r_{t+1}$ 그리고 새로운 상태
미래 추정을 개선하기 위해 경사 기반 방법으로 신경망 매개변수를 업데이트한다.

 출처

핵심 구성 요소

에이전트이는 학습자, 즉 의사 결정을 내리는 AI입니다(예: 자율주행 자동차 컨트롤러, 게임 플레이 AI).
환경이는 에이전트가 상호작용하는 세계입니다(예: 도로망과 교통, 비디오 게임 세계).
상태 (s): 특정 순간의 환경을 포착한 것으로, 에이전트의 의사 결정에 필요한 맥락을 제공합니다(예: 현재 센서 판독값, 화면 픽셀). DRL에서는 이 상태가 종종 복잡하고 고차원적입니다.
행동 (a): 현재 상태를 바탕으로 에이전트가 내리는 선택(예: 왼쪽으로 조향, 가속, 점프, 매수/매도).
보상 (r): 해당 상태에서 에이전트의 행동이 초래한 즉각적인 결과를 환경이 알려주는 피드백 신호입니다. 이는 긍정적일 수 있으며(좋은 성과에 대한 보상), 부정적일 수도 있습니다(나쁜 성과에 대한 벌점).

학습 루프(시행착오)

에이전트는 현재 상태를 관측합니다 (s) 환경의
이 상태를 바탕으로 에이전트의 신경망(정책 또는 가치 추정기)이 행동을 결정합니다 (a).
에이전트는 해당 행동을 수행합니다 (a).
환경은 새로운 상태로 전이됩니다 (s') 그리고 보상을 제공합니다 (r) 에이전트에게 반환됩니다.
에이전트는 이 보상 신호와 전이 정보(s, a, r, s') 를 사용해 신경망을 업데이트하여, 앞으로의 의사 결정 과정을 더욱 정교화합니다.

탐색 대 활용의 딜레마

강화학습의 구성 요소와 수학적 기초

출처: S. L. Brunton (2021년 2월 19일), 제어 법칙 학습을 위한 신경망

정책 ($\pi$) 이는 에이전트의 전략, 즉 “두뇌”에 해당한다. 에이전트의 행동 방식을 정의한다. 수학적으로는 각 상태에서 가능한 각 행동을 선택할 확률로 매핑하는 함수이다. A 결정적 정책은 각 상태를 하나의 행동으로 매핑한다 ($a = \pi(s)$), 반면에 확률적 정책은 각 상태를 행동에 대한 확률 분포로 매핑한다 ($\pi(a|s) = P(A_t = a | S_t = s)$). DRL에서는 정책이 종종 매개변수($\theta$) 의 신경망, $\pi_\theta(a|s)$학습의 목표는 본질적으로 다음을 찾는 것이다 최적 정책 ($\pi^*$) 기대 누적 미래 보상을 최대화하는.
가치 함수: 이러한 함수들은 주어진 정책 하에서 에이전트가 특정 상태에 있는 것, 또는 그 상태에서 특정 행동을 취하는 것이 얼마나 “좋은지”를 추정한다. $\pi$이 함수들은 에이전트가 즉각적인 보상에만 머무르지 않고 장기적인 가능성에 기반해 의사결정을 내릴 수 있도록 해 주기 때문에 매우 중요하다.
그 상태 가치 함수 $V^\pi(s)$ 은 상태에서 시작하는 기대 수익(할인된 미래 보상의 합)이다 $s$ 그리고 이후에 따르는 정책 $\pi$형식적으로는 다음과 같다. $V^\pi(s) = \mathbb{E}_\pi \left[ \sum_{k=0}^{\infty} \gamma^k r_{t+k+1} | S_t = s \right]$ 다음 정책을 따른다고 대답한다: “정책 따르기” $\pi$, 이 상태에서 기대되는 장기 보상은 무엇인가요? $s$?”
그 행동-가치 함수 $Q^\pi(s, a)$ (종종 Q-함수라고 불리는) 함수는 상태에서 시작했을 때의 기대 수익을 의미한다 $s$, 행동 취하기 $a$, 그리고 그다음 그다음 따르는 정책 $\pi$형식적으로: $Q^\pi(s, a) = \mathbb{E}_\pi \left[ \sum_{k=0}^{\infty} \gamma^k r_{t+k+1} | S_t = s, A_t = a \right]$ 그것은 다음과 같이 답한다: " $\pi$ 행동을 취한 뒤에 $a$ 상태에서 $s$, 기대되는 장기 보상은 무엇인가?" 이러한 가치 함수들은 다음의 유명한 개념을 통해 서로 연결된다 벨만 방정식, 상태(또는 상태-행동 쌍)의 가치를 기대되는 즉시 보상과 후속 상태의 할인된 가치로 표현한다. 이러한 재귀적 관계는 많은 RL 알고리즘의 기초를 이룬다.

$S$: 유한하거나 무한한 상태들의 집합.
$A$: 유한하거나 무한한 행동들의 집합.
$P$: 상태 전이 확률 함수, $P(s'|s, a) = P(S_{t+1}=s' | S_t=s, A_t=a)$. 이는 환경의 동역학을 정의한다.
$R$: 보상 함수. 일반적으로 상태에서 전이할 때 기대되는 즉시 보상으로 정의된다 $s$ 동작과 함께 $a$, $R(s, a) = \mathbb{E}[R_{t+1} | S_t=s, A_t=a]$때로는 결과 상태에 근거해 정의되기도 한다: $R(s, a, s')$.
$\gamma$: 할인율 ($0 \le \gamma \le 1$). 이 스칼라는 미래 보상의 현재 가치를 결정한다. A $\gamma$ 0에 가까우면 에이전트가 “근시안적”이 되어 즉시 보상에만 집중하게 되고, 반면에 a $\gamma$ 1에 가까우면 미래 보상의 가치를 높게 평가하여 장기적 계획에 필수적이다.

심층 강화 학습의 강점과 약점

심층 강화 학습의 응용 분야

결론