Deep Reinforcement Learning 커뮤니티가 Policy Gradient 방식을 PyTorch로 구현하여 Value-Based 방식의 한계를 극복하는 방법론 제시

Context

Deep Q-Learning과 같은 Value-Based 방식은 각 상태-행동 쌍에 대해 Q-값을 계산해야 하므로 연속 행동 공간에서 최적화 문제가 된다. 무한에 가까운 행동 선택지(자동차 조향각 15°, 17.2°, 19.4° 등)를 다루기 어렵다. 결정론적 정책의 Perceptual Aliasing 문제로 인해 동일하게 보이는 상태에서 다른 행동이 필요한 경우 에이전트가 목표 달성에 실패할 수 있다.

Technical Solution

• Policy Gradient를 직접 최적화: 중간 단계의 Value Function 추정 없이 정책의 가중치를 Gradient Ascent로 직접 학습
• 확률적 정책(Stochastic Policy) 출력: 상태에 대한 행동의 확률분포를 출력하여 자동으로 탐색-활용 트레이드오프 달성
• REINFORCE 알고리즘 구현: 에피소드를 수집한 후 반환값(Return) R(τ)에 따라 상태-행동 조합의 로그 확률을 증가 또는 감소
• PyTorch로 처음부터 구현: CartPole-v1, PixelCopter, Pong 환경에서 검증
• 연속 행동 공간 처리: Q-값 최대화 최적화 문제 없이 확률분포를 통해 무한 행동 선택지 대응

Key Takeaway

Policy-Based 방식은 Value Function을 거치지 않고 정책을 직접 최적화하므로 연속 행동 공간과 확률적 탐색이 필요한 환경에서 Value-Based 방식보다 자연스럽고 효율적이다. 에이전트 개발자는 특정 환경의 특성(행동 공간, Perceptual Aliasing 가능성)에 따라 방식을 선택해야 한다.