AMD mini-PC 기반 27B 모델로 60초 타임아웃 버그 해결

Context

Envoy AI Gateway의 ModelRouter가 retry policy 생성 시 per-attempt timeout을 60s로 하드코딩한 설계 결함 발생. route-level 설정과 무관하게 모든 요청이 60초 후 504 에러로 종료되는 제약으로 인해 장시간 생성이 필요한 LLM 추론 작업의 병목 지점 형성.

Technical Solution

• Qwopus(Qwen3.6 distill) 27B 모델을 AMD Strix Halo(Vulkan) 환경에서 구동하여 코드 수정 수행
• 하드코딩된 상수를 제거하고 router rule 및 backend 설정 중 최대 timeout 값을 동적으로 산출하는 helper 함수 도입
• 설정값 부재 시를 대비한 named-constant fallback 메커니즘 설계
• gofmt, go vet, golangci-lint 및 통합 테스트를 포함한 Verification Gate를 통한 코드 무결성 검증
• Kaniko를 활용한 In-cluster 빌드 및 배포 프로세스로 실제 런타임 동작 확인