Go 1.25에서 Flight Recorder 기능 도입으로 장시간 실행되는 웹 서비스에서 문제 발생 직후의 execution trace를 메모리 버퍼에 캡처 가능

Context

기존 Go execution tracer는 전체 실행 구간을 기록하거나 특정 테스트 구간만 캡처할 수 있었으나, 며칠 또는 주 단위로 실행되는 웹 서비스에서는 문제 발생 직후에만 원인을 파악해야 하므로 사후 진단이 불가능했다. 전체 execution trace를 수집하면 저장 및 처리해야 할 데이터량이 과도하고, 실제 문제와 무관한 데이터 대부분을 처리해야 한다.

Technical Solution

• Flight Recorder 메커니즘 구현: 실시간 execution trace를 메모리 버퍼에만 저장하고 파일/소켓에 쓰지 않음으로써 최근 수 초간의 trace만 순환 버퍼(circular buffer)에 유지
• 사후 진단 기능 추가: 프로그램이 문제 감지 시점에 버퍼 스냅샷을 요청하여 정확히 그 순간의 실행 상태만 추출 가능
• HTTP 핸들러 내 lock 보유 시간 가시화: sendReport() 함수의 defer를 사용한 lock 해제로 인한 성능 저하를 execution trace에서 goroutine 대기 패턴으로 명확히 식별 가능
• 런타임 오버헤드 감소: Go 1.21에서 tracing 런타임 오버헤드 대폭 감소
• Trace 포맷 개선: Go 1.22에서 trace 포맷 견고성 강화 및 분할 가능하도록 개선하여 flight recorder 구현 기반 마련

Key Takeaway

Flight Recorder는 장시간 실행되는 서비스에서 "언제 문제가 발생했는지 이미 알고 있을 때" 정확히 그 구간만 진단할 수 있는 scalpel 도구로, 무작정 fleet 전체를 샘플링하는 방식보다 인프라 비용과 데이터 처리 오버헤드를 크게 줄인다.