Deep Reinforcement Learning 팀이 정책 업데이트 범위를 [1-ε, 1+ε]로 제한하는 Clipped Surrogate Objective 함수 도입으로 훈련 안정성 개선 및 수렴 확률 향상

Context

Advantage Actor Critic(A2C) 같은 기존 정책 기반 강화학습 방식은 훈련 중 정책 업데이트 크기를 제어하기 어려워 불안정한 학습과 서브옵티멀한 수렴을 초래했다. 단계 크기가 너무 작으면 훈련이 느리고, 너무 크면 정책이 급격히 악화되어 복구 불가능해지는 문제가 있었다.

Technical Solution

• 정책 변화량 측정: 현재 정책과 이전 정책 간 확률 비율(ratio)을 r_t(θ) = π_θ(a_t|s_t) / π_θ_old(a_t|s_t)로 계산하여 정책 변화 정도를 정량화
• 클리핑 메커니즘 적용: 확률 비율을 [1-ε, 1+ε] 범위로 클리핑하여 정책 업데이트가 과도해지지 않도록 제약
• Clipped Surrogate Objective 함수 도입: 클리핑된 비율에 어드밴티지 값을 곱한 목적함수로 보수적인 정책 업데이트 수행
• TRPO 대안 제시: 복잡한 KL divergence 제약 대신 간단한 클리핑 방식으로 구현 용이성 향상
• PyTorch 기반 구현: CartPole-v1과 LunarLander-v2 환경에서 검증 가능한 완전 구현 제공

Key Takeaway

정책 기반 강화학습에서 보수적인 업데이트 전략은 수렴 안정성을 높이는 핵심 원칙이며, PPO의 클리핑 메커니즘은 복잡한 수학적 제약 없이 동일한 효과를 달성하는 실무적 설계 패턴이다.